밑바닥부터 만들면서 배우는 LLM: 2.2 텍스트 토큰화하기 -2

▲ 그림 2-4 LLM의 텍스트 처리 단계. 입력 텍스트를 개별 토큰으로 분할합니다. 토큰은 단어 또는 구두점 문자 같은 특수 문자입니다.

신간 소식 구독하기

뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.