이어서 FCN에서는 스킵 연결을 사용하여 네트워크의 초기 층에서 얻은 정보를 후반부의 업샘플링 층과 결합합니다. 이러한 스킵 연결은 깊은 네트워크에서 발생할 수 있는 정보 손실을 방지하고, 더 세밀한 이미지 영역 분할을 가능하게 합니다. 업샘플링과 스킵 연결은 초기 층의 정밀한 공간 정보와 깊은 층의 고수준 추상 정보를 통합하여, 보다 정확한 픽셀 수준의 예측을 달성합니다. FCN은 최종적으로 각 픽셀에 대한 클래스 확률을 나타내는 히트맵을 생성합니다. 이 히트맵은 원본 이미지의 사이즈와 일치하며, 각 픽셀이 특정 클래스에 속할 확률을 나타냅니다. 히트맵을 통해 FCN은 이미지 내의 각 객체를 픽셀 단위로 정확하게 분류할 수 있습니다.