• e2 에지에서 e2에 대한 e3의 그레이디언트를 계산합니다. 이전 연산이 단순한 덧셈 연산이므로 다른 입력 값(-y)에 상관없이 그레이디언트는 1입니다. 1과 e3 에지에서 그레이디언트를 곱하면 e2 에지에서 그레이디언트 -10을 얻습니다.
• e1 에지에서 e1에 대한 e2의 그레이디언트를 계산합니다. 이전 연산이 x와 v 사이의 곱셈, 즉 x * v입니다. 따라서 e1에 대한 (즉, v에 대한) e2의 그레이디언트는 x 또는 2입니다. 2를 e2 에지의 그레이디언트와 곱해서 최종 그레이디언트 2 * -10 = -20을 얻습니다.
지금까지 v에 대한 손실의 그레이디언트 -20을 얻었습니다. 경사 하강법을 적용하기 위해 이 그레이디언트의 음수 값에 학습률을 곱해야 합니다. 학습률을 0.01이라 가정하면 그레이디언트 업데이트는 다음과 같습니다.
-(-20) * 0.01 = 0.2
이 값이 이번 훈련 단계에서 v에 적용할 업데이트 값입니다.
v = 0 + 0.2 = 0.2
여기서 볼 수 있듯이 x = 2와 y = 5이고 학습할 함수는 y' = v * x이기 때문에 최적의 v 값은 5/2 = 2.5입니다. 한 단계의 훈련이 끝나면 v 값이 0에서 0.2로 바뀝니다. 다른 말로 하면, 가중치 v가 원하는 값에 조금 더 가까워졌습니다. 이어지는 훈련 단계는 앞서 설명한 것과 동일한 역전파 알고리즘을 사용하고 가중치 v의 값은 (훈련 데이터에 있는 잡음을 무시하면) 최적에 점점 더 가까워질 것입니다.