더북(TheBook)

▲ 그림 2-4 LLM의 텍스트 처리 단계. 입력 텍스트를 개별 토큰으로 분할합니다. 토큰은 단어 또는 구두점 문자 같은 특수 문자입니다.