합성곱 층과 풀링 층을 거치면서 원본 이미지의 공간적인 정보가 점차 줄어듭니다. 특히 풀링 과정에서는 이미지의 상세한 정보가 손실되기 쉽습니다. 또한 일반적으로 사용했던 완전 연결 층은 전체 이미지를 하나의 ‘데이터 덩어리’로 처리합니다. 이는 개별 픽셀의 상세한 위치 정보를 고려하지 않으므로 픽셀 수준에서의 세밀한 이미지 분석이 어렵습니다. 따라서 전통적인 CNN은 큰 이미지 내에서 전체적인 패턴을 인식하고 분류하는 데는 탁월하지만, 픽셀 단위의 정밀한 이미지 영역 분할을 수행하는 데는 한계가 있습니다.

이러한 한계를 극복하기 위해 등장한 것이 바로 FCN입니다. FCN은 완전 연결 층을 사용하지 않고, 대신 모든 층을 합성곱 층으로 구성하여 공간적인 정보를 보존함으로써 픽셀 수준에서 더욱 정교한 이미지 영역 분할을 가능하게 합니다.