고전적인 예는 잡음 제거 오토인코더(denoising autoencoder)입니다. 이 모델은 입력 이미지에서 잡음을 제거하는 방법을 학습합니다. 또는 그림 2-4처럼 이미지에서 누락된 부분을 재구성하는 마스크드 오토인코더(masked autoencoder)가 있습니다.

▲ 그림 2-4 마스킹된 이미지를 재구성하는 마스크드 오토인코더

누락된(마스킹된) 입력을 예측하는 방법은 자연어 처리 분야에서도 널리 사용됩니다. GPT와 같은 많은 생성 LLM이 다음 단어 예측 작업으로 훈련됩니다(GPT는 14장과 17장에서 자세히 설명하겠습니다). 이 경우 신경망에 텍스트 일부를 입력하고 이 시퀀스 다음에 나올 단어를 예측합니다(17장에서 자세히 소개하겠습니다).