다음 그림은 망각 게이트, 입력 게이트, 출력 게이트를 모두 표현한 것입니다.

▲ 그림 7-18 LSTM 전체 게이트

LSTM 역전파

LSTM은 셀을 통해서 역전파를 수행하기 때문에 ‘중단 없는 기울기(uninterrupted gradient flow)’라고도 합니다.

즉, 다음 그림과 같이 최종 오차는 모든 노드에 전파되는데, 이때 셀을 통해서 중단 없이 전파됩니다.

▲ 그림 7-19 LSTM 셀 단위 역전파