다음 그림은 망각 게이트, 입력 게이트, 출력 게이트를 모두 표현한 것입니다.

▲ 7-20 LSTM 전체 게이트

LSTM 역전파

LSTM은 셀을 통해서 역전파를 수행하기 때문에 ‘중단 없는 기울기(uninterrupted gradient f low)’라고도 합니다.

즉, 다음 그림과 같이 최종 오차는 모든 노드에 전파되는데, 이때 셀을 통해서 중단 없이 전파됩니다.

▲ 7-21 LSTM 셀 단위 역전파