그래프를 살펴보면 가로축인 가중치 값에 따라 오차가 달라지는 것을 볼 수 있습니다. 가중치 값이 특정한 지점(그래프에서 a 지점)에서 작아지거나 커질 때 오차값이 커지는 모습을 살펴볼 수 있습니다. 그리고 특정한 값에 도달했을 때 오차가 가장 작은 것을 확인할 수 있습니다. 이처럼 오차를 줄이려면 가장 오차가 작은 지점으로 가중치를 이동해야 합니다.

이렇게 그래프를 눈으로 볼 때는 아래로 내려가면 된다고 생각할 수 있지만, 그래프 형태를 볼 수 없을 때는 어떻게 해야 할까요? 바로 b에서 a로 점점 이동해야 합니다. 이때 가장 큰 특징이 바로 각 지점에서 기울기입니다. b 지점의 기울기(이때 기울기는 양수와 음수가 중요한 것이 아니라 그 크기가 중요합니다)가 가장 크며, a 지점으로 갈수록 기울기 크기는 작아지는 것을 볼 수 있습니다. 우리가 목표로 하는 a 지점의 기울기는 가장 작은 0입니다.

이처럼 오차가 가장 작은 지점으로 가중치 값을 이동시키려면 기울기가 점점 줄어드는 방향으로 이동해야겠죠? 기울기를 보고 기울기가 줄어드는 쪽으로 가중치 값을 이동하는 이 방법이 바로 경사 하강법(gradient descent)입니다.