트랜스포머 구조는 2개의 서브모듈(submodule)인 인코더(encoder)와 디코더(decoder)로 구성됩니다. 인코더 모듈은 입력 텍스트를 처리하여 입력의 문맥 정보를 포착하는 일련의 수치 표현 또는 벡터로 인코딩(encoding)합니다. 그런 다음 디코더 모듈이 인코딩된 벡터를 받아 출력 텍스트를 생성합니다. 번역 작업을 예로 들면 인코더는 원본 언어의 텍스트를 벡터로 인코딩하고, 디코더는 이 벡터를 디코딩해 타깃 언어로 된 텍스트를 생성합니다. 인코더와 디코더 모두 이른바 셀프 어텐션 메커니즘(self-attention mechanism)으로 연결된 많은 층으로 구성되어 있습니다. 입력이 어떻게 전처리되어 인코딩되는지 많은 질문이 떠오를 수 있습니다. 이어지는 장에서 단계별로 구현하면서 이런 질문에 대한 답을 알아보겠습니다.