한국어 LLM Leaderboard 사용하기

기존의 LLM 벤치마크는 대부분 영어를 중심으로 설계되어, 실제 한국어 사용 환경을 반영하기 어렵습니다. 디노티시아는 한국어 기반 추론, RAG, 툴 콜링 등의 성능을 정밀하게 평가하기 위해 자체 벤치마크를 구축했습니다.

URL https://leaderboard.dnotitia.com/

디노티시아의 한국어 LLM Leaderboard는 총 30개의 문항으로 구성되며, 각 문항을 0~1점으로 채점해 평균 점수를 산출합니다. 정답으로 처리된 문항 수도 함께 제공해 모델의 한국어 이해 및 생성 성능을 객관적으로 비교할 수 있습니다.

▲ 그림 2-24 디노티시아 한국어 LLM Leaderboard
출처: https://leaderboard.dnotitia.com/