1.1.1 LLM이란

대형 언어 모델(LLM, Large Language Model)은 방대한 텍스트 데이터를 학습해 사람의 언어를 이해하고 생성하도록 설계된 AI 모델입니다. 이 용어는 크게 두 부분으로 나눠 이해할 수 있습니다.

먼저 언어 모델(Language Model)은 주어진 문장에서 다음에 올 단어를 예측하는 모델입니다. 예를 들어 ‘오늘 날씨가 매우’라는 문장이 주어지면 모델은 ‘좋습니다’, ‘덥습니다’, ‘흐립니다’와 같이 뒤에 올 수 있는 단어를 여러 후보로 생각하고, 그중 가장 가능성이 높은 단어를 선택합니다.

이때 중요한 점은 LLM이 의미를 이해해 답을 만드는 것이 아니라 학습한 데이터에서 나타난 패턴을 바탕으로 확률적으로 가장 자연스러운 단어를 선택한다는 점입니다. 이러한 선택은 한 번으로 끝나지 않고, 단어 하나를 생성할 때마다 반복합니다. 이 과정이 이어지면서 하나의 문장을 완성합니다.

이 과정을 조금 더 직관적으로 이해해 보겠습니다. 그림 1-1은 LLM이 문장의 다음 단어를 선택하는 과정을 단계별로 나타낸 것입니다.