순환 신경망(Recurrent neural network, RNN)은 이름에서 알 수 있듯이 신경망을 사용해 모델링한다. 순환 신경망의 가장 큰 특징은 이전 단어가 다음 단어에 의존 관계를 지닐 수 있도록 시퀀스 형태로 입력된다는 것이다.

(1) 나는 가방을 들고 (  )에 간다

(2) 나는 숟가락으로 (  )을 먹는다

위 두 문장이 있을 때 (1)번 괄호에 올 수 있는 단어는 한정적이다. (1)번 괄호에 밥이 들어오는 코퍼스는 없기 때문이다. 이렇게 연쇄된 문장의 맥락 정보를 담을 수 있다는 점이 RNN의 가장 큰 장점이다.

RNN은 모델 아키텍처가 그래프의 형태를 지니는데, 장단기 메모리(Long Short-Term Memory, LSTM)와 이를 더 단순화한 모델인 게이트 순환 유닛(Gated Recurrent Unit, GRU)이 있다. 단순화했다고 하는 이유는, LSTM에는 출력, 입력, 삭제 게이트가 있지만, GRU는 업데이트 게이트와 리셋 게이트만으로 동작하기 때문이다.