오차역전파

오차역전파란

역전파는 계산 결과와 정답의 오차를 구해서 이 오차에 관여하는 노드 값들의 가중치와 편향을 수정하는데, 이때 오차역전파(backpropagation)는 오차가 작아지는 방향으로 반복해서 수정합니다. 이 횟수가 커지면 그만큼 정확성은 높아지지만 시간이 오래 걸리는 단점이 있고, 횟수가 작아지면 정확성은 떨어지지만 시간이 단축되는 장점이 있습니다. 이 횟수의 주기를 1 에포크(epoch)라고 하며, 에포크를 늘리면서 가중치와 편향을 업데이트(학습)하여 점점 오차를 줄여 나갑니다.

이를 정리하면 오차역전파의 계산 방식은 다음과 같습니다.

(1) 입력 값에 가중치를 곱한 값과 편향을 합하여 그 값이 임계치인 0을 넘으면 1을 출력하고, 그렇지 않으면 0을 출력하는 순전파 과정을 거칩니다.

(2) 출력 값과 정답의 차이인 오차를 구합니다. 역방향으로 오차를 줄이는 가중치 값으로 수정합니다(그림 9-12에서 붉은색으로 표현한 미분 방법이 오차를 구하는 방법입니다).

(3) 출력층의 가중치 값을 수정합니다.

(4) 은닉층의 가중치 값을 수정합니다.

오차가 더 이상 줄어들지 않을 때까지 (2)~(4) 과정을 반복합니다.

그림 9-12 | 오차역전파