더북(TheBook)

7.4 RNN 구조

RNN은 은닉층 노드들이 연결되어 이전 단계 정보를 은닉층 노드에 저장할 수 있도록 구성한 신경망입니다.

다음 그림에서 볼 수 있듯이 xt-1에서 ht-1을 얻고 다음 단계에서 ht-1xt를 사용하여 과거 정보와 현재 정보를 모두 반영합니다. 또한, htxt+1의 정보를 이용하여 과거와 현재 정보를 반복해서 반영하는데, 이러한 구조를 요약한 것이 다음 그림의 오른쪽 부분과 같습니다.

▲ 그림 7-10 RNN 구조

RNN에서는 입력층, 은닉층, 출력층 외에 가중치를 세 개 가집니다. RNN의 가중치는 Wxh, Whh, Why로 분류됩니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.