4. 시험과 평가: 프롬프트를 LLM에 제출하고 생성된 출력을 분석합니다. 응답이 사용자의 기대에 얼마나 부합하는지, 관련성, 일관성, 형식, 어조 등의 요소를 고려하여 평가합니다.

  5. 프롬프트 개선: 출력 평가를 바탕으로 개선할 부분을 식별하고 프롬프트를 그에 맞게 수정합니다. 수정 사항에는 지시 사항 명확히 하기, 예시 추가, 출력 패턴 조정, 역할 변경 등이 포함됩니다. 필요하다면 LLM 매개 변수도 다듬어서 창의성이나 결정론에 영향을 주는 온도나 top-k와 같은 값을 조정하는 것을 고려하세요.

  6. 반복: 만족스러운 출력이 나올 때까지 시험, 평가, 개선 과정을 반복합니다. 반복적 접근 방식은 프롬프트 엔지니어링 과정을 미세 조정하고 다양한 작업과 요구에 맞게 조정하는 데 도움이 됩니다.

  7. 성공/실패 문서화: 성공한 프롬프트 엔지니어링 기법과 매개 변수 설정을 문서화하고, 기대와 달리 동작하지 않은 것들도 마찬가지로 문서화합니다. 이 문서는 향후 실험에서 귀중한 참고 자료가 되어, 이전 경험을 바탕으로 프롬프트 엔지니어링 과정을 간소화할 수 있게 해 줍니다.

  8. 결과 공유와 협력: 더 넓은 LLM 사용자 모임에 참여하여 분석 결과를 공유하고, 다른 사람들의 경험에서 배우며, 프롬프트 엔지니어링에 대한 모범 사례를 공동으로 개발하세요. 지식과 아이디어를 교환하면 프롬프트 엔지니어링 과정의 전반적인 효과와 효율성을 개선할 수 있습니다.