더북(TheBook)

decode 메서드로 이 토큰 ID를 다시 텍스트로 바꿀 수 있는지 확인해 보죠.

print(tokenizer.decode(ids))

출력 결과는 다음과 같습니다.

'"It's the last he painted, you know," Mrs. Gisburn said with pardonable pride.'

이 출력을 바탕으로 decode 메서드가 토큰 ID를 원본 텍스트로 성공적으로 변환한다는 것을 알 수 있습니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.