다음으로 토큰을 파이썬 문자열에서 정수 표현으로 바꾸어 토큰 ID를 만들어 보겠습니다. 이 변환은 토큰 ID를 임베딩 벡터로 변환하기 전의 중간 단계입니다.

앞서 생성한 토큰을 토큰 ID로 매핑하려면 어휘사전(vocabulary)을 먼저 구축해야 합니다. 그림 2-6에서 보듯이 어휘사전은 개별 단어와 특수 문자를 고유한 정수로 매핑하는 방법을 정의합니다.