출력 제어
LLM은 설정 값에 따라 응답의 길이와 성격이 달라집니다. 이러한 설정을 적절히 조정하면 비용을 줄이고, 원하는 형태의 결과를 얻을 수 있습니다.
주요 설정 값은 다음과 같습니다.
• max_tokens: 생성할 수 있는 최대 토큰 수로, 응답 길이를 제한
• temperature: 응답의 다양성과 창의성을 조절, 낮을수록 답변이 정확하고 안정적, 높을수록 창의적
• top_p: 확률이 높은 단어 후보만 선택해 응답의 안정성을 조절
작업 목적에 따라 이 값을 조정해야 하며, 여러 설정을 실험해 최적 값을 찾아야 합니다.
지금까지 살펴본 사항을 기반으로 상용 API 모델을 보다 안정적으로 운영할 수 있습니다. 그렇다면 상용 API를 사용하는 방식과 달리 모델을 직접 실행하는 방식은 어떤 특징이 있을까요? 다음으로 오픈소스 모델의 특징을 살펴보겠습니다.