핵심은 문장의 연쇄에 따라 이동하면서 이전 은닉 상태(hidden state)의 출력과 현시점의 입력을 함께 연산할 수 있다는 것이다.

이 절에서는 텐서플로의 케라스(Keras)를 사용해 실습할 것이다. 케라스 RNN API를 사용할 텐데 이는 다음에 중점을 두고 설계됐다.⁹

• 사용 편리성: 내장된 keras.layers.RNN, keras.layers.LSTM, keras.layers.GRU 레이어를 사용해 어려운 구성을 선택할 필요 없이 반복 모델을 빠르게 구축할 수 있다.

• 사용자 정의 용이성: 사용자 정의 동작으로 자체 RNN 셀 계층(for 루프의 내부 부분)을 정의하고 일반 keras.layers.RNN 계층(for 루프 자체)과 함께 사용할 수 있다. 이를 통해 최소한의 코드로 다양한 아이디어를 유연한 방식으로 신속하게 프로토타이핑할 수 있다.