그런 다음 SimpleTokenizerV2와 비슷하게 decode 메서드를 사용해 토큰 ID를 원래 텍스트로 다시 되돌릴 수 있습니다.
strings = tokenizer.decode(integers)
print(strings)
출력은 다음과 같습니다.
Hello, do you like tea? <|endoftext|> In the sunlit terraces of someunknownPlace.
그런 다음 SimpleTokenizerV2와 비슷하게 decode 메서드를 사용해 토큰 ID를 원래 텍스트로 다시 되돌릴 수 있습니다.
strings = tokenizer.decode(integers)
print(strings)
출력은 다음과 같습니다.
Hello, do you like tea? <|endoftext|> In the sunlit terraces of someunknownPlace.