Hugging Face Daily Papers·· 29일 전AI 점수31
LiveMACE: 변화하는 시장에서 LLM 에이전트 능력의 과정 중심 평가
LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
AI 요약
LiveMACEBench는 실시간 금융 시장에서 지속형 LLM 에이전트를 평가하는, 의사결정 트레이스를 활용한 과정 중심 벤치마크다. 5개 프런티어 LLM을 30일간 평가한 결과, 실현 수익이 능력별 측정치와 어긋나는 '성과와 능력의 격차'가 나타났다. 의사결정 트레이스에 기반한 진단에서는 능력마다 서로 다른 병목이 드러났다.
출처: Hugging Face Daily Papers · huggingface.co