▲ 그림 2-1 일반적인 전이 학습과 사전 훈련

자기 지도 학습은 전이 학습을 위해 레이블이 없는 데이터에서 모델을 사전 훈련하는 또 다른 방법입니다. 그림 2-2에 나타난 것처럼, 레이블이 없는 데이터셋이지만 데이터 구조로부터 레이블을 얻는 방법을 찾아 신경망의 예측 작업을 구성할 수 있습니다. 이런 자기 지도 훈련 작업을 사전 작업(pretext task)이라고도 부릅니다.