■ 기울기로 가중치 값을 변경하는 경사 하강법

앞에서 살펴본 가중치를 떠올려 볼까요? 가중치에 따라 신호 세기가 바뀌고, 그에 따라 인공지능의 결괏값이 결정됩니다. 바로 이 가중치가 인공지능의 성능을 결정하는 핵심입니다. 이 가중치를 적절하게 수정하는 과정이 바로 인공지능의 학습이고요. 지금부터 가중치를 어떻게 바꾸는지 살펴보겠습니다.

그림 6-4의 오차 그래프를 봅시다.

그림 6-4 | 가중치에 따라 달라지는 오차

가중치의 값에 다른 오차 그래프를 그려 보면 밥그릇처럼 아래로 오목한 모양임을 볼 수 있습니다. 우리의 목표는 오차가 최소가 되게끔 하는 것입니다.

그래프를 살펴보면 가로축인 가중치의 값에 따라 오차가 달라지는 것을 볼 수 있습니다. 가중치의 값이 특정한 지점(그래프에서 a 지점)에서 작아지거나 커질 때 오차의 값이 커지는 모습을 살펴볼 수 있습니다. 그리고 특정한 값에 도달하였을 때 오차가 가장 작은 것을 확인할 수 있습니다. 이처럼 오차를 줄이려면 가장 오차가 작은 지점으로 가중치를 이동해야 합니다.