7.4 RNN 구조
RNN은 은닉층 노드들이 연결되어 이전 단계 정보를 은닉층 노드에 저장할 수 있도록 구성한 신경망입니다.
다음 그림에서 볼 수 있듯이 xt-1에서 ht-1을 얻고 다음 단계에서 ht-1과 xt를 사용하여 과거 정보와 현재 정보를 모두 반영합니다. 또한, ht와 xt+1의 정보를 이용하여 과거와 현재 정보를 반복해서 반영하는데, 이러한 구조를 요약한 것이 다음 그림의 오른쪽 부분과 같습니다.
▲ 그림 7-10 RNN 구조
RNN에서는 입력층, 은닉층, 출력층 외에 가중치를 세 개 가집니다. RNN의 가중치는 Wxh, Whh, Why로 분류됩니다.