셀

각 단계에 대한 은닉 노드(hidden node)를 메모리 셀이라고 합니다. ‘총합(sum)’을 사용하여 셀 값을 반영하며, 이것으로 기울기 소멸 문제가 해결됩니다.

셀을 업데이트하는 방법은 다음과 같습니다.

망각 게이트와 입력 게이트의 이전 단계 셀 정보를 계산하여 현재 단계의 셀 상태(cell state)를 업데이트합니다. 다음은 셀에 대한 수식입니다.

그림으로는 다음과 같이 표현할 수 있습니다.

▲ 7-18 셀