Hugging Face Daily Papers·· 15일 전AI 점수41
벤치마크는 난이도에 관한 경험적 측도다: 난이도 편향과 커버리지 공백 분석
Your Benchmark Is an Empirical Measure Over Difficulty
AI 요약
본 논문은 벤치마크를 난이도에 관한 경험적 측도로 정식화하고, 측도 불일치와 커버리지 공백이라는 두 가지 실패 모드를 규명한다. 7개 분야에 걸친 인기 벤치마크 25개를 분석한 결과, 다수의 벤치마크가 특정 난이도 영역을 과도하게 중시하고 있으며 리더보드의 결론은 신중하게 해석해야 한다고 밝혔다. 또한 난이도를 겨냥한 문항 재작성 알고리즘 BenchFill을 제안하고, 국지적인 커버리지 공백을 줄이는 효과를 보였다.
출처: Hugging Face Daily Papers · huggingface.co