이는 은닉층이 50개의 유닛을 가지고 있어서 가중치 크기가 [13, 50]이기 때문입니다. 이 커널은 600개의 가중치 파라미터를 가집니다. 이에 비해 선형 모델의 커널은 12 + 1 = 13개의 파라미터를 가집니다. 600개의 가중치 파라미터에 의미를 부여할 수 있을까요? 일반적으로는 불가능합니다. 은닉층의 출력 50개의 의미를 쉽게 구별할 수 없기 때문입니다. 이는 모델이 비선형 관계를 (자동으로) 학습하기 위해 만든 고차원 공간의 차원입니다. 사람은 이런 고차원 공간에 있는 비선형 관계를 잘 이해하기 어렵습니다. 일반적으로 은닉층의 유닛이 하는 일을 기술하거나 심층 신경망의 최종 예측에 어떻게 기여하는지 쉽게 몇 마디로 설명하기는 어렵습니다.

또한, 이 모델은 하나의 은닉층만 가지고 있습니다. (코드 3-2에서 정의한 모델처럼) 여러 개의 은닉층이 차례대로 쌓여 있다면, 이 관계는 더욱 모호하고 설명하기 어렵습니다. 심층 신경망에 있는 은닉층의 의미를 잘 해석하기 위해 연구를 하고 있으며¹⁰ 일부 종류의 모델에서 진전이 있지만,¹¹ 얕은 신경망이나 신경망이 아닌 (결정 트리 같은) 머신 러닝 모델에 비해 심층 신경망이 이해하기 어려운 것이 사실입니다. 얕은 모델 대신 심층 신경망을 선택함으로써 해석 가능성을 모델 용량으로 맞교환하는 셈입니다.