4. 사전 훈련에서는 대규모 언어 모델이 일반적인 언어 패턴과 지식을 학습하기 위해 대규모 데이터셋에서 훈련됩니다. 이런 사전 훈련된 모델을 파운데이션 모델로 사용하여, 미세 튜닝을 통해 다양한 후속 작업에 적응시킬 수 있습니다. 미세 튜닝은 특정 애플리케이션을 위해 특정 데이터셋에서 추가로 훈련하는 과정입니다.

5. 미세 튜닝은 작업에 특화된 소규모 데이터셋에서 사전 훈련된 대규모 언어 모델을 추가로 훈련합니다. 이 과정을 통해 모델이 사전 훈련에서 배운 일반 지식을 활용해 텍스트 요약이나 질문 답변과 같은 특정 작업을 잘 수행하도록 적응합니다.