1.3.2 LLM 학습

LLM의 학습(training) 과정은 크게 사전 학습(pre-training)과 미세 조정(fine-tuning)이라는 두 단계로 구성됩니다. LLM은 학습하는 동안 이 두 가지 주요 단계를 거치게 됩니다. 마치 고도로 숙련된 어학 연수생이자 언어 학습자처럼 말이죠.

사전 학습

첫 단계에서 LLM은 서적, 기사, 웹사이트 등에서 추출된 방대한 양의 문장에 노출됩니다. 다양한 정보로 가득 찬 거대한 도서관의 책을 읽는 셈입니다.

LLM은 모든 문장을 검토하면서 언어가 어떻게 구조화되어 있는지 패턴을 파악하기 시작합니다. 그러면서 다음과 같은 것을 학습합니다.

• 어떤 단어들이 서로 자주 뒤이어 오는 경향이 있는지(‘개’ 다음에 ‘짖다’가 뒤이어 올 확률)

• 다양한 언어의 문법과 문장 구조(동사가 문장에서 어디에 위치하는지)

• 특정 단어가 연관된 주제와 개념(‘개’와 ‘강아지’가 동물, 애완동물 등과 연관되어 있음을 학습)