6.1.4 GoogLeNet

GoogLeNet은 주어진 하드웨어 자원을 최대한 효율적으로 이용하면서 학습 능력은 극대화할 수 있는 깊고 넓은 신경망입니다.

깊고 넓은 신경망을 위해 GoogLeNet은 인셉션(inception) 모듈을 추가했습니다. 인셉션 모듈에서는 특징을 효율적으로 추출하기 위해 1×1, 3×3, 5×5의 합성곱 연산을 각각 수행합니다. 3×3 최대 풀링은 입력과 출력의 높이와 너비가 같아야 하므로 풀링 연산에서는 드물게 패딩을 추가해야 합니다. 결과적으로 GoogLeNet에 적용된 해결 방법은 희소 연결(sparse connectivity)입니다. CNN은 합성곱, 풀링, 완전연결층들이 서로 밀집(dense)(정교하고 빽빽하게)하게 연결되어 있습니다. 빽빽하게 연결된 신경망 대신 관련성(correlation)이 높은 노드끼리만 연결하는 방법을 희소 연결이라고 합니다. 이것으로 연산량이 적어지며 과적합도 해결할 수 있습니다.

▲ 그림 6-23 GoogLeNet의 인셉션 모듈