대규모 신경망은 좋은 성능을 내고 일반화가 잘되기 위해 많은 양의 레이블링된 데이터가 필요합니다. 하지만 레이블링된 대규모 데이터셋을 구하기 어려운 분야가 많습니다. 이럴 때 자기 지도 학습으로 레이블이 없는 데이터를 활용할 수 있습니다. 따라서 대규모 신경망을 위한 레이블링된 데이터의 양이 적을 때 자기 지도 학습이 유용할 가능성이 높습니다.

LLM(large langauge model)과 비전 트랜스포머(vision transformer, ViT) 같은 트랜스포머(transformer) 기반 모델은 높은 성능을 내기 위해 자기 지도 학습을 활용한 사전 훈련이 필요합니다.

2~3개의 층을 가진 다층 퍼셉트론 같은 작은 신경망 모델에서는 일반적으로 자기 지도 학습이 유용하거나 필요하지 않습니다.