3.1.2 안정적으로 API 호출하기

LLM API 호출은 네트워크 문제나 요청 제한 등 다양한 이유로 실패할 수 있습니다. 이러한 상황에 대비하지 않으면 일시적인 오류로 애플리케이션이 중단될 수 있습니다. 이를 해결하기 위해 재시도(retry) 로직을 적용하면 오류가 발생했을 때 일정 시간이 지난 후 다시 요청을 보내 정상 동작을 유지할 수 있습니다.

LLM API 호출의 안정성을 높이기 위한 대표적인 방법은 다음과 같습니다.

구조화된 예외 처리

OpenAI SDK는 오류가 발생하면 AuthenticationError, RateLimitError, APIError와 같은 예외를 발생시킵니다. try-except 문으로 이를 구분하면 오류 상황에 맞게 대응할 수 있습니다. 예를 들어 인증 오류는 재시도해도 해결되지 않지만, 요청 제한 오류는 일정 시간이 지난 후에 다시 시도하면 해결되는 경우가 많습니다.