1 경사 하강법의 개요

‘3장. 딥러닝을 위한 기초 수학’에서 미분은 한 점에서의 순간 기울기라고 배웠습니다. y = x² 그래프에서 x에 다음과 같이 a₁, a₂ 그리고 m을 대입해 그 자리에서 미분하면 그림 5-2와 같이 각 점에서의 순간 기울기가 그려집니다.

그림 5-2 | 순간 기울기가 0인 점이 곧 우리가 찾는 최솟값 m이다