어텐션 메커니즘은 다음과 같은 방식으로 작동됩니다.
1. 가중치 계산
디코더가 다음 단어를 생성할 때 인코더의 모든 단어와 디코더의 현재 상태를 비교해 유사도를 계산합니다. 이 유사도는 각 단어가 얼마나 중요한지에 대한 가중치로 사용됩니다.
2. 가중합 계산
가중치가 적용된 각 인코더 출력의 가중합을 통해 새로운 컨텍스트 벡터를 생성합니다. 이는 디코더가 특정 단어를 생성할 때 중요한 단어에 집중하게 합니다. 이와 같은 과정을 닷프로덕트(dot product, 스칼라 곱)1라고 합니다.