셀프 어텐션 메커니즘

셀프 어텐션 메커니즘은 자기 자신에게 주의를 기울이는 어텐션 메커니즘입니다. 즉, 입력된 문장에서 각 단어가 다른 모든 단어와 어떻게 연관되는지를 계산해 문맥 내에서 특정 단어가 얼마나 중요한지를 파악하는 것입니다. 이를 통해 모델은 문맥을 더 잘 이해하고, 정확하게 예측할 수 있습니다.

▲ 그림 2-12 일반적인 어텐션 메커니즘과 셀프 어텐션 메커니즘 차이