오차역전파는 오차를 줄이는 방향으로 바로 앞 가중치를 수정해 간다고 했습니다. 가중치를 수정할 때는 순전파에서 계산한 y = g(f(x))의 편미분 값을 오차에 곱해서 하류 노드(은닉층)에 전달합니다. 이때 편미분을 사용하는 이유는 수많은 노드에 부여되는 모든 가중치 값을 고려할 필요 없이 연결된 가중치만 고려하면 되기 때문입니다. 또 연쇄 법칙을 이용하면 출력층과 입력층 사이에 은닉층이 많아도 간단한 미분으로 기울기를 계산할 수 있기 때문입니다.

오차역전파 계산

오차역전파를 계산하려면 그림 9-12를 이해해야 합니다. 이해하기 쉽도록 덧셈과 곱셈을 나누어서 설명하겠습니다.

◼︎ 덧셈의 노드 역전파

z = x + y 식에 대한 계산 그래프는 그림 9-13의 왼쪽과 같습니다. x = 2, y = 6일 때 z = x + y에 대한 순전파 계산은 그림 9-13의 오른쪽과 같습니다.

그림 9-13 | 덧셈의 노드 순전파

순전파는 순차적으로 계산하면 되므로 어렵지 않습니다. 하지만 역전파 계산은 미분을 해야 하기에 어렵게 느낄 수 있습니다. 의외로 원리만 알면 어렵지 않습니다. 덧셈의 역전파에 대한 미분은 다음과 같습니다.

z = x + y