1 모집단의 데이터에서 최대한 모집단과 유사한 일부 데이터를 추출하는 과정입니다.

  2 숫자 5 이미지를 입력하면 인코더는 숫자 5를 받아서 분석한 후 2차원 좌표평면, 예를 들어 (5,5)에 표현합니다. 이때 숫자 5 이미지를 고차원 데이터라고 하며 좌표평면에 표현된 벡터는 점 (5,5)에 해당됩니다. 그리고 2차원 좌표평면을 잠재 공간이라고 합니다.

  3 입력층과 출력층 사이에 하나 이상의 은닉층을 두어 비선형적으로 분리되는 데이터에 대해서도 학습이 가능하도록 고안된 것으로 심층 신경망의 기초가 됩니다.

  4 잠재 공간에 위치한 벡터를 잠재 벡터라고 하며, 잠재 공간상의 점 하나를 표현 벡터(representation vector)라고 합니다.

  5 주어진 표본에서 가장 그럴듯한(likely) 모수를 추정하는 척도입니다.

  6 두 확률 분포의 차이를 계산하는 데 사용하는 함수입니다. 딥러닝 모델을 예로 들면 수집된 데이터 분포 P(x)와 모델이 추정한 데이터 분포 Q(x)의 차이를 구할 때 사용합니다.

  7 변분추론은 이상적인 확률 분포를 모르지만, 이를 추정하고자 다루기 쉬운 분포(예 가우시안 분포(Gaussian distribution))를 가정하고 이 확률 분포의 모수를 바꾸어 가며 이상적 확률 분포에 근사하게 만들어 그 확률 분포를 대신 사용하는 것입니다.

  8 훈련 비용이란 시스템 자원(CPU/GPU 혹은 메모리)뿐만 아니라 훈련 시간을 의미합니다.

  9 합성곱층에 패딩을 적용하지 않은 것입니다.

10 실제 값과 예측 값 사이의 차이(오차)에 대한 절댓값을 구하고, 그 오차들의 합을 구합니다.