망각 게이트에 대한 수식은 다음과 같습니다.

그림으로는 다음과 같이 표현할 수 있습니다.

▲ 그림 7-14 망각 게이트

입력 게이트

입력 게이트(input gate)는 현재 정보를 기억하기 위해 만들어졌습니다. 과거 정보와 현재 데이터를 입력받아 시그모이드와 하이퍼볼릭 탄젠트 함수를 기반으로 현재 정보에 대한 보존량을 결정합니다.

즉, 현재 메모리에 새로운 정보를 반영할지 결정하는 역할을 합니다.