CycleGAN

PIX2PIX가 강력한 모델이기는 하지만 데이터 쌍이 필요하다는 단점이 있습니다. 예를 들어 다음 그림의 PIX2PIX 모델처럼 신발의 외곽선(에지)만 표현된 이미지에서 완전한 신발 이미지를 생성하고 싶다면, 신발의 외곽선(에지) 이미지(x_i)와 신발 이미지(y_i)에 대한 데이터 쌍이 필요합니다.

▲ 그림 13-24 PIX2PIX와 CycleGAN

그런데 이러한 데이터 쌍의 이미지를 구하는 것이 쉽지 않습니다. 같은 시간과 장소, 각도에서 이미지가 두 개(예 조랑말과 얼룩말 이미지) 필요한데, 이러한 데이터를 얻기 어렵기 때문에 PIX2PIX 모델을 사용하기가 쉽지 않습니다. 따라서 쌍(paired)을 이루지 않는 이미지(unpaired image)로 학습할 수 있는 방법이 필요한데, 이때 사용하는 것이 CycleGAN입니다.