7.3.1 RNN 계층과 셀

이제 RNN을 구성하는 RNN 계층(layer)과 RNN 셀(cell)을 살펴보겠습니다.

RNN은 내장된(built - in) 계층뿐만 아니라 셀 레벨의 API도 제공합니다. RNN 계층이 입력된 배치 순서대로 모두 처리하는 것과 다르게 RNN 셀은 오직 하나의 단계(time step)만 처리합니다. 따라서 RNN 셀은 RNN 계층의 for loop 구문을 갖는 구조라고 할 수 있습니다.

▲ 그림 7-9 RNN 계층과 RNN 셀

RNN 계층은 셀을 래핑³하여 동일한 셀을 여러 단계에 적용합니다. 그림 7-9에서도 X₁, X₂, …, X_n 등이 전체 RNN 셀에서 사용되고 있습니다. 즉, 셀은 실제 계산에 사용되는 RNN 계층의 구성 요소로, 단일 입력과 과거 상태(state)를 가져와서 출력과 새로운 상태를 생성합니다.