“용이 님, 이렇게 테스트 안 해 봤죠?”
제이는 화면을 보며 물었습니다.
“사용자를 하나씩 늘리면서, 요청 길이가 제각각인 상황이요. 짧은 질문이랑 LLM 연산이 오래 걸리는 긴 질문이 섞여 들어오는 경우도요.”
용이는 의아했습니다.
“굳이 그렇게 해야 하나요? 동시에 100명까지 쭉 보냈을 때, 응답이 돌아오기는 했는데요. 그럼 기능이 잘 동작하는거 아닌가요?
제이가 용이에게 고개를 돌리며 입을 열었습니다.
“그게 문제였네요.”
앞서 본 사례에서 용이의 코드는 분명히 잘 동작했습니다. 채팅 API를 호출하는 테스트 툴에서 요청을 보내면 응답이 정상적으로 반환되었습니다. 라운드 로빈 방식으로 GPU 파드에 분배된다고 했고, 실제로도 그렇게 동작하는 것처럼 보였습니다. 문법 오류도 없었고, 코드 리뷰도 통과했습니다. 그런데 왜 실제 채팅 서비스에 연결하자마자 문제가 발생한 걸까요? 기능 검증을 제대로 하지 않아서일까요? 요청을 보내면 응답이 왔고, 에러 없이 기능이 수행되었습니다. 기능 검증 측면에서만 보면 용이의 코드는 합격이었습니다.