비용함수의 값이 최소가 되는 지점은 곡선의 가장 아랫부분이다. 이 지점의 값이 찾으려는 W와 b의 값이다. 곡선과 접하는 직선을 그어 직선의 기울기가 0, 즉 수평인 상태의 W와 b 값을 구하면 된다.

▲ 그림 7-8 w₁보다 w₂에서의 비용함수 값이 더 작다

앞의 그림에서 w₁보다 w₂에서 접선이 수평이고 비용함수 값이 더 작다. 경사하강법은 접선의 기울기인 경사를 줄여가면서 W와 b 값을 찾는 방법이다. 기울기를 계산하려면 비용함수 을 미분해야 한다. W와 b에 대해 미분해야 하는데 두 변수가 하나의 식에 섞여 있으므로, 먼저 b를 고정한 후 W의 기울기를 구하고, 다음으로 W를 고정한 후 b의 기울기를 구한다. 이렇게 미분할 변수 외에 나머지 변수는 상수로 취급하고 미분하는 것을 편미분이라고 한다.