순환 구조를 이용한 자연어 처리 모델의 발전: RNN, LSTM, GRU

초기의 인공 신경망은 주로 입력과 출력의 길이가 고정된 정적 패턴 인식 문제에 초점을 맞추었습니다. 그러나 실제 세계의 많은 데이터는 시간적 순서나 순차적 의존성을 가지고 있습니다. 예를 들어 언어(문장 내 단어 순서), 음성(시간에 따른 신호 변화), 음악, 주가, 센서 데이터 등은 모두 시간적 또는 순차적 구조이며, 이를 제대로 모델링하기는 어렵습니다.

전통적인 인공 신경망은 입력을 독립적으로 처리하므로 이전에 입력했던 정보나 과거 맥락을 장기적으로 기억하는 데 한계가 있습니다. 특히 언어 모델링에서는 문장의 앞부분을 바탕으로 뒷부분의 단어를 예측하려면 과거에 처리된 단어들을 기억하고 문맥을 이해하는 능력이 필요합니다. 이러한 요구를 해결하기 위해, 시간에 따라 변하는 정보를 서로 연결할 수 있는 순환 구조가 필요해졌습니다.

1982년, 존 홉필드(John Hopfield)가 제안한 홉필드 신경망(Hopfield network)은 대칭적이고 순환적인 연결 구조를 통해 안정된 패턴(메모리)을 인출하는 기능을 보여주었습니다. 비록 홉필트 신경망은 시퀀스 데이터 처리보다 연상 메모리 구현에 초점을 두었지만, 재귀적 연결 구조가 메모리 기능을 수행할 수 있음을 증명함으로써 이후 시퀀스 처리를 위한 순환 신경망(RNN, Recurrent Neural Network) 개발에 사상적 기반이 되었습니다.