급상승 이슈지켜보는 중
MMDM 대규모 의사결정 벤치마크 공개
보도 1건출처 1곳2일 전 업데이트
지금까지의 흐름
보도 발췌
MMDM은 16개 과제 카테고리와 5,448개 문항으로 구성되어 System-1형 의사결정 모델을 평가하는 벤치마크다. 28개 모델을 평가한 결과, world knowledge에서는 높은 성적을 보였으나 상호 의존적인 선택지나 제약이 걸린 의사결정에서는 어려움을 겪는 모델이 많았다.
Hugging Face Daily Papers 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
11월 10일
- Hugging Face Daily PapersMMDM: 대규모 다중 과제 의사결정을 측정하는 벤치마크
MMDM은 16개 과제 카테고리와 5,448개 문항으로 구성되어 System-1형 의사결정 모델을 평가하는 벤치마크다. 28개 모델을 평가한 결과, world knowledge에서는 높은 성적을 보였으나 상호 의존적인 선택지나 제약이 걸린 의사결정에서는 어려움을 겪는 모델이 많았다.
이 이슈의 화제도 추이
추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.