오차 역전파는 Y_out 값에서 거꾸로 거슬러 올라가며 가중치 W⁽²⁾와 가중치 W⁽¹⁾이 더는 업데이트되지 않을 때까지 반복해 계산하는 것입니다.

먼저 W⁽²⁾의 값 중 하나인 w₃₁을 업데이트하는 과정을 알아보겠습니다. 오차 역전파의 공식을 이용해 w₃₁을 업데이트하려면 다음 공식으로 계산해야 합니다.

여기서 t는 한 단계 앞, t + 1은 현재 단계의 계산을 의미합니다. w₃₁t는 한 단계 앞에서 이미 계산된 값을 의미하므로 여기서는 구할 필요가 없습니다. 따라서 우리가 실제로 구해야 하는 값은 입니다. 이는 오차 Y_out을 구하고 이를 w₃₁에 대해 편미분하라는 의미입니다. 먼저 오차 Y_out을 구해 보겠습니다.