2.2.1 트랜스포머

트랜스포머는 구글이 2017년 자연어 처리를 위해 발표한 모델로, 현재 AI 분야의 혁신을 이끌고 있는 언어 모델입니다. 순차적 처리 방식을 벗어나 어텐션 메커니즘만으로 구현된 딥러닝 모델로, 입력 데이터를 병렬적으로 처리해 훈련 시간을 단축하면서도 긴 문장에서 문맥을 깊이 있게 이해하도록 설계되었습니다.

어텐션 메커니즘은 문장에서 중요한 단어에 집중하면서도 모든 단어 간 관계를 동시에 고려하는 방식입니다. 예를 들어 “철수가 사과를 먹었다”라는 문장에서 어텐션 메커니즘은 ‘먹었다’라는 동작이 ‘철수’와 연결되어야 함을 파악해 문장의 의미를 정확히 이해하게 돕습니다. 이러한 메커니즘 덕분에 트랜스포머는 각 단어가 다른 단어와 어떤 관계를 맺고 있는지를 명확히 분석해 문장 전체의 의미를 놓치지 않고 정확하게 해석합니다.