■ 여러 가중치를 차례로 변경해 나가는 오차 역전파법

앞에서 오차를 줄이는 방향으로 가중치 값을 변경할 수 있는 방법인 경사 하강법을 살펴보았습니다. 그런데 문제가 하나 있습니다. 인공 신경망을 설계하면 가중치 값이 1~2개가 아니라는 점이지요.

그림 6-6 수많은 가중치를 가진 인공 신경망

층이 하나만 있으면 한 번의 경사 하강법으로 뉴런과 뉴런을 연결한 가중치 값을 수정할 수 있지만, 그림 6-6과 같이 층이 여러 개 있다면 문제가 복잡합니다. 이렇게 많은 가중치를 어떻게 바꿀 수 있을까요?