3. 세 번째 단어 eating 생성
세 번째 단어 eating을 생성할 때 디코더는 I와 am을 참고해 예측하지만, lunch는 참조하지 못하게 마스킹됩니다.
어텐션 매트릭스는 [1, 1, 1, 0]으로, I, am, eating 위치까지만 어텐션을 주고, lunch는 0으로 마스킹됩니다.
4. 네 번째 단어 lunch 생성
마지막 단어 lunch를 예측할 때 디코더는 I, am, eating을 모두 참고할 수 있지만, 미래의 단어가 없기 때문에 전체 어텐션이 허용됩니다.
어텐션 매트릭스는 [1, 1, 1, 1]로, 모든 이전 단어에 접근할 수 있습니다.
▲ 그림 2-16 마스크드 셀프 어텐션 메커니즘 예시