예를 들어 첫 번째 가중치 중 하나인 w₃₁을 업데이트한다고 합시다. 경사 하강법에서 배운 대로 w₃₁을 업데이트하기 위해서는 오차 공식을 구하고 w₃₁에 대해 편미분해야 합니다. 합성 함수의 미분이므로 체인 룰을 적용해 편미분을 구하고 이를 이용해 w₃₁을 업데이트합니다. 이제 두 번째 가중치를 업데이트할 차례입니다. 예를 들어 w₁₁을 업데이트한다고 하면 마찬가지로 오차 공식을 구하고 w₁₁에 대해 편미분하면 됩니다. 그런데 여기서 문제가 생깁니다. 앞서 우리는 출력층의 결과와 실제 값을 비교해 오차를 얻었습니다. 하지만 은닉층은 겉으로 드러나지 않으므로 그 값을 알 수 없습니다. 따라서 오차를 구할 만한 적절한 출력 값도 없다는 것입니다.

이 문제는 다시 출력층의 오차를 이용하는 것으로 해결합니다. w₃₁의 경우 y_o1의 오차만 필요했었지만, w₁₁은 y_o1과 y_o2가 모두 관여되어 있습니다. 따라서 오차 두 개를 모두 계산해 이를 편미분하게 됩니다. 물론 계산식은 조금 더 복잡해집니다. 하지만 이 과정을 마치면 첫 번째 가중치 업데이트 공식과 두 번째 가중치 업데이트 공식이 다음과 같이 정리됩니다.

첫 번째 가중치 업데이트 공식 = (y_o1- y_{실제 값}) . y_o1(1-y_o1) . y_h1

두 번째 가중치 업데이트 공식 = (σy_o1 . w₃₁+σy₀₂. w₄₁)y_h1(1-y_h1) . x₁