2 인공 신경망의 핵심! 오차 줄이기

앞에서 인공 신경망으로 만든 인공지능의 출력값과 실제 정답과의 오차를 확인하는 방법을 살펴봤습니다. 이렇게 오차가 발생한다면 각 노드를 잇는 가중치의 값을 하나하나 변경해야 합니다. 오차를 줄이기 위해서는 전달하는 신호의 세기를 조절해야 하는데, 이때 전달하는 신호의 세기를 조절할 수 있는 방법이 바로 가중치의 값을 수정하는 것이기 때문입니다. 이를 해결할 수 있는 방법으로는 다음 두 가지가 있습니다.

첫 번째 방법은 바로 기울기를 사용하여 가중치의 값을 변경하는 경사 하강법이라는 개념입니다. 두 번째 방법은 이 경사 하강법의 개념을 사용하여 여러 가중치를 차례로 변경해 나가는 오차 역전파법입니다.

먼저 각각의 가중치의 값을 변경하는 경사 하강법의 개념을 살펴보겠습니다.