2. 비결정성과 제어의 어려움
LLM은 같은 질문을 하더라도 매번 동일한 답변을 보장하지 않습니다. 이러한 특성을 비결정성(non-deterministic)이라고 합니다. 이 현상은 모델이 항상 확률적으로 다음 단어를 선택하기 때문에 발생합니다. 따라서 실행할 때마다 조금씩 다른 결과가 나올 수 있습니다. 이 특성은 창의적인 글쓰기나 아이디어 생성에는 도움이 되지만, 항상 동일한 결과가 필요한 소프트웨어 시스템에서는 제약으로 작용합니다. 또한 temperature와 같은 설정 값에 따라 출력의 성격이 달라집니다.
용어 temperature란 모델이 다음 단어를 선택할 때 확률 분포를 조절하는 값입니다. 값이 낮으면 높은 확률의 단어를 선택해 일관된 답변을 생성하고, 값이 높으면 다양한 단어를 선택해 더 자유로운 답변을 생성합니다.
이러한 특성 때문에 실제 서비스에서는 다음과 같은 방식으로 LLM의 출력 결과를 보다 안정적으로 제어할 수 있습니다.
• 구조화된 출력 사용
• 출력 형식(스키마) 명시
• 결과 검증 단계 추가