LLM은 전이 학습에도 활용될 수 있습니다. 전이 학습은 사전 학습된 모델을 다른 문제에 다시 사용하는 머신러닝의 접근 방식이며, 과업 전이와 도메인 전이가 있습니다.
• 과업 전이(task transfer): 특정 과업(task)에서 학습한 모델이나 지식을 다른 과업에 적용하는 것을 의미합니다. 즉, 원래 훈련된 모델의 지식을 활용해 새로운 문제를 해결하는 것이 목표입니다. 예를 들어 영상 인식 모델을 음성 인식에 사용하는 경우입니다.
• 도메인 전이(domain transfer): 한 데이터 도메인(source domain)에서 학습한 모델을 다른 도메인(target domain)에서도 잘 작동하도록 하는 것을 의미합니다. 예를 들어 영어-프랑스어 번역 모델을 영어-한국어 번역으로 사용하는 경우입니다.