usage: 토큰 사용량 이해하기
OpenAI API 응답에는 usage 객체가 포함됩니다. 이 객체는 요청과 응답 과정에서 사용한 토큰 수를 나타냅니다. 일반적으로 다음과 같은 값을 포함합니다.
• prompt_tokens: 입력 프롬프트에 사용한 토큰 수
• completion_tokens: 응답 생성에 사용한 토큰 수
• total_tokens: 전체 사용 토큰 수
LLM API는 일반적으로 토큰 사용량을 기준으로 비용이 발생하므로 usage 정보는 비용을 관리하는 데 중요한 지표가 됩니다. 특히 Tool Use를 사용하는 경우에는 함수 정의(JSON 스키마)와 도구 실행 결과(observation)가 프롬프트에 포함됩니다. 이로 인해 일반적인 텍스트 생성보다 토큰 사용량이 증가할 수 있습니다. 따라서 실제 서비스에서는 usage 정보를 지속적으로 확인하고, 불필요한 토큰 사용을 줄이도록 설계해야 합니다.