Hugging Face Daily Papers·· 14일 전AI 점수30
동영상 중심 딥리서치 보고서 생성을 평가하는 벤치마크 「OmniDR-Bench」
Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports
AI 요약
동영상을 출발점으로 외부 근거를 수집해 대화형 보고서를 만드는 에이전트를 평가하는 벤치마크 「OmniDR-Bench」와 평가 프레임워크 「Omni-ARTs」가 제안됐다. OmniDR-Bench는 중국어·영어 50개 과제와 19개 실제 세부 카테고리로 구성되며, 평가 기준은 6,414건을 포함한다. 18개 에이전트 구성으로 평가한 결과, 최고 점수는 100점 만점에 63.3점이었다. 현재 에이전트는 내용의 포괄성, 모달리티를 넘나드는 인과·논리 분석, 인용의 정확성에서 개선이 필요하다.
출처: Hugging Face Daily Papers · huggingface.co