1.1.2 LLM의 핵심 구조: 트랜스포머

LLM이 다음 단어를 예측하는 방식으로 동작한다고 했습니다. 그렇다면 이러한 예측은 실제로 어떤 구조를 통해 이루어질까요?

여기서는 오늘날 대부분의 LLM이 사용하는 트랜스포머 구조를 살펴봅니다. 트랜스포머(transformer)는 문장의 전체 문맥을 한 번에 처리할 수 있는 구조로, 기존의 순환 신경망이나 합성곱 신경망과는 다른 방식으로 동작합니다.

트랜스포머가 실제로 어떻게 동작하는지 전체 흐름을 먼저 살펴보겠습니다.