1.3.1 구조

OpenAI의 GPT-4와 같은 LLM은 트랜스포머(transformer, 변환기)라는 특별한 유형의 신경망을 통해 만들어집니다. 트랜스포머는 문장과 잘 동작하는 특별한 구조를 가지고 있습니다.

트랜스포머에서 중요한 특징은 자기 주의 집중(self-attention)입니다. 이는 모델이 문장의 여러 부분에 집중하고 특정 문맥에서 어떤 단어가 더 중요한지 결정할 수 있다는 뜻입니다. 다시 말하면 가장 중요한 단어에 주의를 기울이는 것과 같습니다.

또 다른 특징은 위치 부호화(positional encoding)를 사용한다는 것입니다. 이는 모델이 문장에서 각 단어의 위치를 추적할 수 있게 해 줍니다. 다시 말하면 각 단어에 특별한 표식(label)을 붙여 모델이 해당 단어가 순서열(sequence)에서 어디에 속하는지 알 수 있게 하는 것과 같습니다.

LLM은 이러한 특성을 통해 긴 문장을 제대로 처리하고 이해할 수 있고, 모델들은 단어가 나타나는 문맥을 기반으로 단어의 의미를 파악하고 문장 속 단어의 순서를 기억할 수 있습니다.