후보군

후보군(candidate)은 현시점의 정보에 대한 후보군을 계산합니다. 과거 은닉층의 정보를 그대로 이용하지 않고 망각 게이트의 결과를 이용하여 후보군을 계산합니다.

(*는 점 단위 연산(pointwise operation)입니다. 예를 들어 벡터를 더할 때 각각의 차원(dimension)에 맞게 곱하거나 더하는 것이 가능해집니다.)

은닉층 계산

마지막으로 업데이트 게이트 결과와 후보군 결과를 결합하여 현시점의 은닉층을 계산합니다. 시그모이드 함수의 결과는 현시점에서 결과에 대한 정보량을 결정하고, 1-시그모이드 함수의 결과는 과거의 정보량을 결정합니다. 이것을 수식으로 나타내면 다음과 같습니다.

다음 그림은 GRU 전체에 대한 내부 구조입니다.

▲ 그림 7-23 GRU 내부 구조

이제 GRU를 이용하여 네트워크를 구성해 보겠습니다.