이것을 수식으로 정리하면 다음과 같습니다.

그림으로는 다음과 같이 표현할 수 있습니다.

▲ 그림 7-15 입력 게이트

셀

각 단계에 대한 은닉 노드(hidden node)를 메모리 셀이라고 합니다. ‘총합(sum)’을 사용하여 셀 값을 반영하며, 이것으로 기울기 소멸 문제가 해결됩니다.

셀을 업데이트하는 방법은 다음과 같습니다.