1.3.3 프롬프트에서 응답까지: LLM이 추론으로 빈칸을 채우는 방법

LLM이 학습을 마치면 사용자가 제공하는 프롬프트에 대한 응답을 생성할 준비가 완료된 것입니다.

사용자가 프롬프트를 입력하면 해당 프롬프트가 LLM의 신경망 두뇌로 전달됩니다. LLM의 두뇌 구조에는 프롬프트를 분석할 때 사용되는 특별한 구성 요소가 있습니다.

첫 번째 구성 요소는 우리가 글을 읽을 때 핵심 단어에 집중하는 것처럼 문맥과 가장 관련성이 높은 단어에 더욱 세심한 주의를 기울입니다.

또 다른 구성 요소는 단어의 순서와 프롬프트에서 해당 단어의 위치를 기억하는데, 이는 문맥을 정확하게 파악하는 데 중요합니다.

LLM은 두뇌 구성 요소를 사용하여 논리적으로 다음 응답에 나올 수 있는 단어의 목록을 생성합니다. 그리고 잠재적으로 다음에 올 가능성이 있는 단어에 각각 확률 점수를 할당합니다.

이어서 LLM은 복호화(decoding)라는 기술을 이용하여 확률적으로 가장 높은 점수를 가진 단어를 선택하고 이를 최종 응답으로 변환합니다.