미분을 들어 본 적 있나요? 미분을 간단히 말하면 ‘한 지점에서의 기울기’를 의미합니다. 다음 그림과 같은 그래프가 있습니다. A라는 지점과 B라는 지점을 이으면 다음과 같은 기울기가 나오죠? 이때 A와 B 지점의 간격을 서서히 좁히면 어떻게 될까요? 그리고 A와 B가 만난다면요? 이때의 기울기가 바로 한 지점에서 기울기가 됩니다.

그림 6-5 한 지점에서 기울기: 미분

이 기울기로 무엇을 알 수 있을까요? 바로 그다음 값 예측이 가능합니다. 기울기가 가파를수록 다음 값의 변화가 크다는 것을 알 수 있고, 기울기가 완만할수록 값의 변화가 얼마 없다는 것을 알 수 있습니다. 바로 이러한 미분 개념을 사용하여 인공 신경망의 오차를 수정해 나갑니다. 이처럼 경사 하강법의 핵심은 미분이며, 이를 정확하게 이해하려면 일정 수준 이상의 수학 지식이 필요합니다.