임베딩 벡터(embedding vector)는 단어를 고유한 숫자 벡터로 표현한 것입니다. 언어 모델에서 텍스트 데이터는 숫자로 변환해야 처리할 수 있으므로 각 단어를 고정된 차원의 벡터로 나타내 모델이 단어의 의미와 관계를 이해할 수 있도록 합니다.

트랜스포머는 각 단어의 임베딩 벡터에 포지셔널 인코딩 값을 더하여 단어의 위치 정보도 포함합니다. 이 과정을 통해 같은 단어라도 문장에서 위치에 따라 다른 임베딩 벡터 값이 입력되므로 트랜스포머는 단어의 의미뿐 아니라 그 위치까지 고려한 정교한 언어 처리가 가능합니다.

* 포지셔널 인코딩을 쉽게 이해하도록 간단히 표현하였습니다.

▲ 그림 2-8 포지셔널 인코딩 시각화^*