■ 여러 가중치를 차례로 변경해 나가는 오차 역전파법

앞에서 오차를 줄이는 방향으로 가중치의 값을 변경할 수 있는 방법인 경사 하강법을 살펴봤습니다. 그런데 문제가 하나 있습니다. 인공 신경망을 설계하면 가중치의 값이 한두 개가 아니라는 점이지요.

그림 6-6 | 수많은 가중치를 가진 인공 신경망

층이 하나만 있으면 한번의 경사 하강법을 사용해서 뉴런과 뉴런을 연결한 가중치 값을 수정하면 되지만, 그림 6-6처럼 층이 여러 개 있다면 문제가 복잡해집니다. 이렇게 많은 가중치를 어떻게 바꿀 수 있을까요?

이때 사용하는 방법이 바로 뒤에서부터 앞으로 값을 수정해 나가는 방법입니다. 이 방법을 사용하면 다음과 같이 값을 수정해 나갑니다.

그림 6-7 | 뒤에서부터 앞으로 값을 수정해 나가는 방법 : 오차 역전파법