▲ 그림 2-10 Seq2Seq 인코더-디코더 구조

어텐션 메커니즘은 Seq2Seq 모델의 정보 손실과 기울기 소실 문제를 해결하기 위해 도입되었습니다. 어텐션 메커니즘을 사용하면 디코더가 출력을 생성할 때 인코더의 전체 출력 상태를 참고할 수 있어 시점마다 중요한 부분에 집중해 필요한 정보를 선택적으로 사용할 수 있습니다. 이를 통해 모델은 긴 문장에서도 중요한 정보를 놓치지 않고 필요할 때마다 참조할 수 있어 정보 손실 문제를 해결합니다. 또한, 타임 스텝(timestep)마다 중요한 정보에 가중치를 부여해 모델이 특정 정보에 집중할 수 있게 하여 기울기 소실 문제도 완화됩니다.