전이 학습을 하기 위한 방법론 중 하나로 기존에 학습된 모델의 파라미터를 새로운 데이터 기준으로 학습시키는 것을 미세 조정이라 하기도 합니다. 전이 학습과 미세 조정은 특히 데이터가 부족한 상황에서 유용하게 사용될 수 있습니다. 예를 들어 작은 데이터셋에서도 사전 훈련된 대규모 모델을 사용하면 우수한 성능을 얻을 수 있습니다.

LLM 미세 조정 기법은 여러 가지가 있지만, PEFT(Parameter Efficient Fine-Tuning)를 많이 사용합니다. PEFT는 적은 파라미터 학습만으로 빠른 시간에 새로운 문제를 효과적으로 해결하는 미세 조정 기법입니다. 수천억 개 이상의 파라미터를 가진 LLM도 적은 파라미터만 조절하여 유사한 성능을 낼 수 있다는 연구 결과가 입증되어 활발히 활용되고 있습니다.