예를 들어 “에이미는 도서관에 갔다. 그녀는 책을 읽었다.”라는 문장에서 ‘그녀는’이라는 단어가 나옵니다. ‘그녀는’이 누구를 가리키는지 이해하려면 앞 문장에서 힌트를 얻어야 합니다. 여기서 셀프 어텐션 메커니즘이 어떻게 작동하는지 살펴보겠습니다.
에이미는 도서관에 갔다. 그녀는 책을 읽었다.
1. “에이미는”: 셀프 어텐션 메커니즘은 이 단어가 문장에서 중요한 역할을 한다는 것을 인식합니다. 주어로서 주된 행동의 주체이기 때문입니다.
2. “도서관에 갔다”: 이 부분은 에이미가 무엇을 했는지를 설명합니다. 셀프 어텐션 메커니즘은 ‘도서관’과 ‘갔다’가 ‘에이미’와 연관이 있다는 것을 이해합니다.