이러한 개념이 필요한 이유는 2014년에 공개된 GoogLeNet은 층이 총 22개로 구성된 것에 비해 ResNet은 층이 총 152개로 구성되어 기울기 소멸 문제가 발생할 수 있기 때문입니다. 따라서 다음 그림과 같이 숏컷을 두어 기울기 소멸 문제를 방지했다고 이해하면 됩니다.

▲ 그림 6-20 ResNet 구조

기존 신경망은 입력 값 x를 출력 값 y로 매핑하는 함수 H(x)를 얻는 것이 목적이었습니다. 그러나 ResNet은 F(x)+x를 최소화하는 것을 목적으로 합니다. 여기에서 F(x)는 레지듀얼 함수라고 하며, 두 개의 합성곱층 사이에 위치합니다. 또한, 출력(H(x))과 입력 x에 대한 차(F(x)=H(x)-x)로 표현할 수 있습니다. x는 현시점에서 변할 수 없는 값이므로 F(x)를 0에 가깝게 만드는 것이 목적입니다. F(x)가 0이 되면 출력과 입력 모두 x로 같아지게 됩니다. 즉, F(x)=H(x)-x이므로 F(x)를 최소로 한다는 것은 H(x)-x를 최소로 한다는 것과 의미가 동일합니다. 여기에서 H(x)-x를 레지듀얼이라고 하며, 이때 레지듀얼 이름을 따서 ResNet(Residual Network)으로 부르게 되었습니다.