이 공식 중 밑줄 친 부분을 잘 보면 두 식 모두 ‘out(1-out)’ 형태를 취하고 있다는 것을 알 수 있습니다. 이를 델타식이라고 합니다. 은닉층의 숫자가 늘어도 이러한 형태가 계속해서 나타나게 되므로, 이를 이용해 깊은 층의 계산도 할 수 있게 됩니다. 이렇게 깊은 층을 통해 학습할 수 있는 계기가 마련되면서 드디어 딥러닝이 태동하게 된 것입니다.

오차 역전파 과정을 순수 파이썬 코딩으로 만든 예제가 ‘심화 학습 2. 파이썬 코딩으로 짜 보는 신경망’에 준비되어 있습니다. 우리는 텐서플로를 이용해 이 과정을 진행하므로 여기에 삽입하지는 않겠습니다. 하지만 모든 과정이 파이썬 코딩으로 어떻게 표현되는지 공부할 분들은 참고하기 바랍니다.