1. 셀프 어텐션

트랜스포머의 핵심은 셀프 어텐션(self-attention)으로, 문장 안에서 각 단어가 다른 단어들과 얼마나 관련이 있는지를 계산하는 방식입니다. 기존 RNN은 단어를 순서대로 처리했지만, 트랜스포머는 문장 전체를 동시에 고려해 단어 간 관계를 계산합니다.

예를 들어 “He went to the bank from the river bank.”라는 문장에서 bank는 두 번 등장하지만 의미가 다릅니다. 셀프 어텐션은 주변 단어와의 관계를 바탕으로 각 bank의 의미를 구분합니다.

이 과정에서 각 단어는 세 가지 벡터로 변환됩니다.

쿼리와 키를 비교해 단어 간 관련 정도를 계산하고, 그 결과를 값에 반영해 문맥이 반영된 새로운 표현을 만듭니다.