대규모 텍스트 데이터셋에서 다음 단어를 예측하도록 훈련하여 사전 훈련된 LLM을 얻은 후 레이블이 있는 데이터에서 이 LLM을 추가로 훈련할 수 있습니다. 이를 미세 튜닝(fine-tuning)이라 부릅니다.
가장 인기 있는 미세 튜닝 LLM의 종류는 지시 미세 튜닝(instruction fine-tuning)과 분류 미세 튜닝(classification fine-tuning)입니다. 지시 미세 튜닝에서는 지시(instruction)와 정답 쌍으로 데이터셋(예를 들면, 텍스트를 번역하기 위한 쿼리와 올바르게 번역된 텍스트)이 구성됩니다. 분류 미세 튜닝에서는 텍스트와 클래스(class) 레이블3로 데이터셋(예를 들면, 이메일과 ‘스팸’/‘스팸 아님’ 레이블)이 구성됩니다.
책에서는 사전 훈련과 미세 튜닝을 하기 위한 코드를 구현하고, LLM을 사전 훈련한 후 지시 미세 튜닝과 분류 미세 튜닝의 세부 사항에 대해 더 자세히 알아보겠습니다.