오토인코더는 대칭 구조로 되어 있어 단순한 문제를 해결하는 데는 효과적이지만, 복잡한 문제를 처리하는 데는 유연성이 부족합니다.
이러한 부분을 개선하기 위해 변형 오토인코더(VAE, Variational AutoEncoder)가 등장합니다. VAE는 오토인코더에 확률적 접근 방식을 도입해 더 다양한 데이터를 생성할 수 있도록 설계되었습니다. 특히 이미지 생성, 데이터 복원, 노이즈 제거와 같은 작업에서 유용합니다. VAE에서 추가된 개념은 다음과 같습니다.
• 확률적 인코딩(stochastic encoding): VAE의 인코더는 입력 데이터에 대한 잠재 표현의 평균(mean)과 분산(variance)을 출력합니다. 이를 통해 잠재 공간에 확률 분포를 정의하고, 잠재 변수를 샘플링해 다양한 데이터를 생성할 수 있습니다.
• 잠재 변수(latent variable): 잠재 공간을 나타내는 변수로, VAE에서는 이 변수가 확률적으로 샘플링됩니다. 이를 통해 더 유연하고 다양한 데이터 표현이 가능해집니다.
• 쿨백-라이블러 발산(KLD, Kullback-Leibler Divergence): 학습 과정에서 사용되는 손실 함수의 일부로, 잠재 변수의 분포가 사전 분포(prior distribution, 일반적으로 정규 분포)와 얼마나 다른지를 측정합니다. 이 값을 최소화함으로써 잠재 공간이 의미 있는 표현을 학습하도록 유도합니다.