출력된 행렬의 각 행은 그림 2-16에 나타나 있듯이 임베딩 가중치 행렬의 룩업(lookup) 연산을 통해 구할 수 있습니다.

▲ 그림 2-16 임베딩 층은 가중치 행렬에서 토큰 ID에 해당하는 임베딩 벡터를 추출하는 룩업 연산을 수행합니다. 예를 들어 토큰 ID 5의 임베딩 벡터는 임베딩 층의 가중치 행렬에 있는 여섯 번째 행입니다(파이썬의 인덱스는 0부터 시작하므로 다섯 번째 행이 아니라 여섯 번째 행이 됩니다). 이 토큰 ID는 2.3절의 어휘사전으로 만들었다고 가정합니다.

토큰 ID로 임베딩 벡터를 만들었으니 다음으로 임베딩 벡터를 조금 수정하여 텍스트 안에 있는 토큰의 위치 정보를 인코딩하겠습니다.