2.2.4 사전 훈련과 미세 조정 기술

사전 훈련

기존 딥러닝 모델은 특정한 문제를 풀기 위해 잘 정돈된 학습 데이터로 학습해야 하고, 그 외 새로운 문제를 푸는 것은 불가능에 가깝습니다. 그래서 풀려는 문제가 많아지면 모델의 개수가 증가합니다.

LLM 사전 훈련은 학습 과정에서 방대한 양의 텍스트 데이터로 언어의 구조와 패턴을 학습하는 것입니다. LLM 모델은 거대한 양의 일반 데이터를 미리 학습했으므로 다양한 문제 해결에 적용할 수 있습니다. 기초가 되는 하나의 모델을 이용해 다양한 문제를 푼다는 의미에서 이 모델을 파운데이션 모델(foundation model, 기반 모델)이라고 부르기도 합니다.

사전 훈련된 모델이 장점이 많다는 사실이 증명되면서, 모델 크기를 나타내는 파라미터 수가 백만 단위에서 십억 단위로 올라가고, 심지어 조 단위로 올라갔습니다.