SECTION 2.3 실전 프롬프트
2.3.1 비기능 요구사항을 포함한 요청 프롬프트
용이가 프롬프트를 이렇게 만들어서 요청했으면 어땠을까요?
입력
GPU 파드에 채팅 요청을 분배하는 기능을 만들어 줘.
[성능 조건]
• 동시 요청 100건 이상 처리 가능해야 함
• 응답 시간은 3초를 넘기면 안 됨
• 무거운 요청의 LLM 연산이 연속으로 들어와도 전체 응답 지연이 발생하지 않아야 함
용이가 프롬프트를 이렇게 만들어서 요청했으면 어땠을까요?
입력
GPU 파드에 채팅 요청을 분배하는 기능을 만들어 줘.
[성능 조건]
• 동시 요청 100건 이상 처리 가능해야 함
• 응답 시간은 3초를 넘기면 안 됨
• 무거운 요청의 LLM 연산이 연속으로 들어와도 전체 응답 지연이 발생하지 않아야 함