자기 지도 학습은 한 작업을 위해 사전 훈련된 모델을 다른 작업의 시작점으로 재사용하는 기법인 전이 학습과 관련이 있습니다. 예를 들어 새 종류를 분류하는 이미지 분류기를 훈련한다고 생각해 보죠. 전이 학습을 위해 이미지넷(ImageNet) 데이터셋에서 합성곱 신경망을 사전 훈련할 수 있습니다. 이미지넷 데이터셋은 다양한 물체와 동물을 포함해 많은 범주로 레이블링된 대규모 이미지 데이터셋입니다. 범용적인 이미지넷 데이터셋에서 훈련한 후, 사전 훈련된 모델을 가져와 관심 품종의 새가 포함된 더 작고 구체적인 타깃 데이터셋에서 훈련하기도 합니다(종종 범주에 특화된 출력층을 바꾸어야 하지만, 그렇지 않다면 사전 훈련된 모델을 그대로 사용할 수도 있습니다).

그림 2-1은 전이 학습 과정을 보여 줍니다.