합성곱 신경망에서 완전 연결 층은 네트워크의 마지막 부분에 위치하여 고차원의 특징을 추출하고 분류하는 역할을 합니다. 하지만 이 과정에서 이미지의 공간적인 상세 정보가 상실됩니다. 완전 연결 층은 공간적 배열을 무시하고, 모든 픽셀 정보를 하나의 긴 벡터로 변환합니다. 이로 인해 위치 정보가 소실되며, 이미지 내 객체의 정확한 위치나 형태를 파악하기 어렵게 됩니다. FCN에서는 이러한 완전 연결 층을 제거해서 각 픽셀의 위치 정보를 유지할 수 있습니다. 이는 특히 영역 분할과 같이 픽셀 수준의 정밀한 예측이 필요한 작업에서 중요한 역할을 합니다.

완전 연결 층의 제거는 네트워크가 전체 이미지를 통합적으로 분석하는 대신, 각각의 픽셀을 독립적으로 평가하고, 각 픽셀이 속한 클래스를 예측할 수 있게 합니다. FCN은 전체 네트워크를 거치는 모든 층을 합성곱 층으로 구성하여 이러한 공간적 정보의 보존을 극대화합니다. 합성곱 층은 입력 이미지에서 가장자리나 질감과 같은 지역적인 패턴을 효과적으로 학습할 수 있으며, 지역적인 패턴은 층을 거치면서 점점 더 복잡하고 추상적인 형태로 변환됩니다.