순차적 구조의 언어 모델(RNN, LSTM 등)에서는 단어를 순서대로 처리하므로 단어 간 순서가 자연스럽게 유지됩니다. 예를 들어 “콩이 두부가 되었다”와 같은 문장의 흐름이 모델에 그대로 반영되어 단어 순서로 인한 의미 오류를 방지할 수 있습니다.

하지만 트랜스포머는 병렬 처리를 통해 빠르고 효율적으로 학습하므로 순차적 구조를 사용하지 않아 단어의 순서를 직접적으로 인식하지 못하는 한계가 있습니다. 이를 보완하기 위해 트랜스포머는 포지셔널 인코딩을 사용해 각 단어에 위치 정보를 부여합니다. 포지셔널 인코딩은 단어에 위치 값을 추가하여 트랜스포머가 단어 순서를 이해할 수 있도록 합니다.

덕분에 트랜스포머는 단어가 등장하는 순서를 바르게 인식해 “콩이 두부가 되었다”와 “두부가 콩이 되었다”의 차이를 명확히 구분하고, 문장의 의미와 논리를 정확히 유지할 수 있습니다.