더북(TheBook)

망각 게이트에 대한 수식은 다음과 같습니다.

그림으로는 다음과 같이 표현할 수 있습니다.

▲ 그림 7-14 망각 게이트

 

입력 게이트

입력 게이트(input gate)는 현재 정보를 기억하기 위해 만들어졌습니다. 과거 정보와 현재 데이터를 입력받아 시그모이드와 하이퍼볼릭 탄젠트 함수를 기반으로 현재 정보에 대한 보존량을 결정합니다.

즉, 현재 메모리에 새로운 정보를 반영할지 결정하는 역할을 합니다.

계산한 값이 1이면 입력 xt가 들어올 수 있도록 허용(open)

계산한 값이 0이면 차단

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.