NOTE 토큰

토큰(token)은 LLM이 이해하는 텍스트의 가장 작은 단위입니다. 사람이 글을 읽을 때 단어 단위로 의미를 파악하듯이 LLM은 토큰 단위로 텍스트를 인식하고 생성합니다. 토큰은 단어와 일치할 수도 있고, 그렇지 않을 수도 있습니다. 예를 들어 ‘apple’이라는 단어는 토큰 1개(apple)로 구성되지만, ‘만나다’는 토큰 2개(만, 나다)로 구성됩니다.

토큰은 API 사용료 계산의 기준이 됩니다. 오픈AI 플랫폼에서는 ‘100만 토큰당×n달러’로 API 사용료를 계산하며, 이 요율이 모델마다 다르게 책정돼 있습니다.