▲ 그림 2-9 특수 문맥을 처리하기 위해 어휘사전에 특수 토큰을 추가합니다. 예를 들어, 훈련 데이터에 포함되어 있지 않아 기존의 어휘사전에 없는 새로운 단어를 나타내는 <|unk|> 토큰을 추가합니다. 또한 관련이 없는 2개의 텍스트를 구분하는 데 사용하는 <|endoftext|> 토큰을 추가합니다.