다음은 역전파를 수행하기 위한 공식입니다.

이때 주의해야 할 것은 셀 단위로 오차가 전파된다고 해서 입력 방향으로 오차가 전파되지 않는 것은 아닙니다. 다음 그림과 같이 셀 내부적으로는 오차가 입력(xt)으로 전파된다는 것도 잊지 말아야 합니다.

▲ 7-22 입력층으로의 역전파

이제 LSTM을 파이토치로 구현해 보겠습니다. LSTM은 RNN과 네트워크 측면에서 어떤 차이가 있는지 비교하면서 학습하면 좋습니다.