손실함수는 곧 살펴볼 경사하강법을 이용해 새로운 가중치 W를 모델에 업데이트한다(update W). 가령 W = 1, b = 0일 때, 즉 H(1, 0)일 때 비용함수 Cost(W, b)는 다음과 같이 계산된다.

W와 b를 구할 때 경사하강법(gradient descent)(경사감소법이라고도 한다)을 이용한다. 수학 시간에 배운 미분을 이용한 접선 방정식을 기억한다면 경사하강법은 전혀 새로운 것이 아니다.

W와 비용함수, b와 비용함수 간의 관계를 그려보면 아래가 볼록한 이차함수 형태가 나타난다.

▲ 그림 7-7 W와 비용함수, b와 비용함수의 관계