BenchMIRT로 보는 LLM 벤치마크의 실제 측정 대상

Hugging Face가 LLM 벤치마크를 개별 프롬프트 단위로 분석하는 기법 「BenchMIRT」를 발표했다. 100개의 LLM, 16개의 벤치마크, 34K개가 넘는 질문의 결과로부터 사전 지정 없이 「안전성」과 「범용 추론」이라는 두 가지 주요 차원을 추출했다. 예를 들어 BBQ는 안전성 벤치마크로 분류되지만 범용 추론과의 상관이 강했고, WMDP도 안전성보다 범용 추론과 강하게 연관되어 있었다.