하지만 이렇게 계층을 계속해서 쌓아 늘리면 파라미터 수가 문제가 됩니다. 계층이 깊어질수록 파라미터는 증가합니다. 예를 들어 ResNet34는 합성곱층이 34개와 16개의 블록으로 구성되어 있습니다. 첫 번째 블록의 파라미터가 1152K라면 전체 파라미터 수는 2만 1282K입니다. 이와 같이 계층의 깊이가 깊어질수록 파라미터는 무제한으로 커질 것입니다. 이러한 문제를 해결하기 위해 병목 블록(bottleneck block)이라는 것을 두었습니다.

병목 블록을 두었을 때 어떤 현상이 발생할까요? 다음 그림은 ResNet34와 ResNet50입니다. ResNet34는 기본 블록(basic block)을 사용하며, ResNet50은 병목 블록을 사용합니다. 기본 블록의 경우 파라미터 수가 39.3216M인 반면, 병목 블록의 경우 파라미터 수가 6.9632M입니다. 깊이가 깊어졌음에도 파라미터 수는 감소한 것입니다.

▲ 그림 6-27 기본 블록과 병목 블록