LLM을 이해하기 위한 기초를 닦았으므로 밑바닥부터 이를 구현해 보겠습니다. GPT 모델의 기본적인 아이디어를 청사진으로 삼아 그림 1-9에 나온 것처럼 세 단계로 이를 다루어 보겠습니다.

▲ 그림 1-9 LLM 구현을 위한 3개의 주요 단계는 LLM 구조와 데이터 전처리 과정 구현하기(1단계), LLM을 사전 훈련하여 파운데이션 모델 만들기(2단계), 파운데이션 모델을 미세 튜닝하여 개인 비서나 텍스트 분류기 만들기(3단계)입니다.