Hugging Face Daily Papers·· 22일 전AI 점수38
BizBench: 실무에서 장기간 에이전트를 운영할 때 드러나지 않는 과제를 검증하는 벤치마크
BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business
AI 요약
BizBench는 결제 기업의 실제 업무 절차를 바탕으로, 장기간 과업을 수행하는 에이전트의 중간 실행이 타당한지 평가하는 멀티턴 방식의 벤치마크다. 프런티어 모델도 목표를 부분적으로 달성하는 데 비해 제약 위반이 많아, Claude Opus 5와 GPT-6 Sol의 엄격한 성공률은 각각 64.0%, 61.3%에 그쳤다. Qwen3.8-27B는 목표 달성률이 42.0%이지만 엄격한 성공률은 32.7%로 떨어져, 결과만 평가하면 무효한 실행이 드러나지 않음을 보여준다.
출처: Hugging Face Daily Papers · huggingface.co