1.3 LLM의 구축 단계

1. 맞춤형 LLM은 특정 작업이나 영역에서 성능을 향상하고, 외부 서비스에 대한 의존성을 줄여 개인정보 보호를 강화하고, 로컬 장치에 모델을 배포해 응답 시간과 비용을 줄일 수 있는 이점이 있습니다.

2. 다양한 대규모 데이터셋에서 모델이 광범위한 언어 이해를 학습하는 사전 훈련으로 시작합니다. 그런 다음 사전 훈련된 모델을 작고 구체적인 데이터셋에서 미세 튜닝하여 특정 작업이나 분야에 적응시킵니다.

3. 사전 훈련은 언어에 대한 일반적인 이해를 가진 파운데이션 모델을 개발하는 것이 목표입니다. ‘원시’ 데이터라고도 부르는 레이블이 없는 대규모 텍스트 데이터를 사용하여 시퀀스의 다음 단어를 예측하도록 모델을 훈련합니다.

4. 자기 지도 학습을 사용하면 모델을 사전 훈련하는 동안 입력 데이터에서 레이블을 생성할 수 있습니다. 따라서 전통적인 지도 학습에서는 필요했던 수동으로 레이블 데이터를 만드는 수고를 덜어 줍니다.

5. 지시 미세 튜닝은 지시-응답 쌍으로 구성된 데이터를 사용합니다. 분류 미세 튜닝은 텍스트와 이에 연관된 클래스 레이블로 구성된 데이터를 사용합니다.