Hugging Face Daily Papers·· 2일 전AI 점수30
MMDM: 대규모 다중 과제 의사결정을 측정하는 벤치마크
MMDM: Measuring Massive Multitask Decision Making
AI 요약
MMDM은 16개 과제 카테고리와 5,448개 문항으로 구성되어 System-1형 의사결정 모델을 평가하는 벤치마크다. 28개 모델을 평가한 결과, world knowledge에서는 높은 성적을 보였으나 상호 의존적인 선택지나 제약이 걸린 의사결정에서는 어려움을 겪는 모델이 많았다.
출처: Hugging Face Daily Papers · huggingface.co