정리하면 어텐션 메커니즘이 쓰이지 않은 기존 모델과 다른 점은 디코더에서 컨텍스트 벡터가 모두 같은 것을 쓰거나 단순히 전파되는 것이 아니라 특정 시점(time step)마다 다른 컨텍스트 벡터를 사용한다는 것입니다.

다음 그림은 코드 10-37에서 사용되는 모델의 네트워크를 도식화한 것입니다. 모델과 비교를 위해 네트워크의 영문명을 그대로 사용했습니다.

▲ 그림 10-21 어텐션이 적용된 디코더