다음은 역전파를 수행하기 위한 공식입니다.

이때 주의해야 할 것은 셀 단위로 오차가 전파된다고 해서 입력 방향으로 오차가 전파되지 않는 것은 아닙니다. 다음 그림과 같이 셀 내부적으로는 오차가 입력(x_t)으로 전파된다는 것도 잊지 말아야 합니다.

▲ 그림 7-20 입력층으로의 역전파

이제 LSTM을 텐서플로 2로 구현해 보겠습니다. RNN과 마찬가지로 동일한 데이터셋을 사용할 예정이며, 네트워크 구성만 LSTM을 이용하여 구현하겠습니다.