용어 순환 신경망(RNN, Recurrent Neural Network)은 이전 단계의 정보를 다음 단계로 전달하며 순차 데이터를 처리하는 구조입니다. 긴 문장을 처리할수록 정보가 희미해지는 한계가 있습니다.

합성곱 신경망(CNN, Convolutional Neural Network)은 인접한 데이터의 특징을 추출하는 데 강점이 있는 구조로, 주로 이미지 처리에 사용합니다. 자연어 처리에도 적용되었지만 긴 문맥을 다루는 데는 제한이 있습니다.