• top-k: top-k 매개 변수는 LLM 출력의 무작위성과 다양성을 제어하는 또 다른 방법입니다. 이 매개 변수는 모델이 응답을 생성하는 각각의 단계마다 가장 가능성이 높은 'k'개의 토큰만 고려하도록 제한합니다. 예를 들어 top-k 값을 5로 설정하면 모델은 가장 가능성이 높은 5개의 선택 사항 내에서 다음 토큰을 선택합니다. top-k 값을 조정하여 응답의 다양성과 일관성 사이의 균형을 관리할 수 있습니다. 일반적으로 top-k 값이 작을수록 더 집중적이고 결정론적 결과가 도출되는 반면, top-k 값이 클수록 더 다양하고 창의적인 응답이 가능합니다.

• 최대 토큰 수: 최대 토큰 수 매개 변수는 생성된 출력에 허용되는 단어나 하위 단어(subword) 단위의 최대 토큰 수를 설정합니다. 이 매개 변수를 조정하여 LLM이 제공하는 응답의 길이를 제어할 수 있습니다. 최대 토큰 수 값을 낮게 설정하면 간결한 답변을 얻을 수 있고, 값을 높게 설정하면 더 상세하고 정교한 답변을 얻을 수 있습니다.

• 프롬프트 길이: LLM의 직접적인 매개 변수는 아니지만 입력 프롬프트의 길이가 모델의 성능에 영향을 미칠 수 있습니다. 프롬프트가 길고 상세할수록 LLM에 더 많은 상황 정보와 지침을 제공하여 더 정확하고 관련성 높은 응답을 얻을 수 있습니다. 하지만 프롬프트가 너무 길면 토큰 한도의 상당 부분을 먼저 소모해 버리기 때문에 모델의 출력이 줄어들 수 있다는 점에 유의해야 합니다.