여기서 사용할 코드는 tiktoken 0.9.0을 기반으로 합니다. 다음 코드를 사용해 현재 설치된 버전을 확인할 수 있습니다.
from importlib.metadata import version
import tiktoken
print("tiktoken 버전:", version("tiktoken"))
설치가 완료되면 tiktoken 라이브러리에서 BPE 토크나이저를 다음과 같이 초기화할 수 있습니다.
tokenizer = tiktoken.get_encoding("gpt2")