라우팅

라우팅(routing)은 사용자의 질문을 분석해 여러 경로 중 하나를 선택하는 방식입니다.

그림 1-3 라우팅

3장에서는 사용자의 질문에 따라 AI 모델을 선택하는 에이전트를 만듭니다. 간단한 상식 수준의 질문을 입력하면 경량 모델(GPT-4o mini)을 활용하는 LLM 1을 호출하고, ‘API 서버를 만들어줘’와 같은 복잡한 작업을 요청하면 추론 모델(o3)을 활용하는 LLM 3을 호출합니다. 경로는 AI 모델의 성능뿐 아니라 업무의 주체와 역할 등 다양한 기준으로 나눌 수 있습니다.