2. 문맥을 통해 전체 의미 파악하기
트랜스포머는 이제 문장의 전체 의미를 파악하기 위해 문맥을 분석합니다. 단어 하나하나의 의미를 아는 것에 그치지 않고, 문장이 가진 전체 메시지를 파악하기 위해 질문을 던집니다.
Q. 누구에게 쓴 편지인가?
A. Korean wizards (한국 마법사들)
Q. 누가 쓴 것인가?
A. I (편지를 쓴 이는 호그와트 마법사)
Q. 주요 내용은 무엇인가?
A. love flying on my broomstick (빗자루 타고 나는 걸 좋아함)
문맥을 통해 단어의 위치와 전체 흐름을 파악하면 트랜스포머는 각 단어의 뉘앙스를 적절히 조절해 번역할 준비를 마칩니다.
트랜스포머의 어텐션 메커니즘은 같은 단어라도 문맥에 따라 다양한 의미로 해석할 수 있습니다.