TraceTrial-Bench, AI 에이전트 하네스의 신뢰성과 장애 원인을 평가하는 벤치마크 제안

TraceTrial-Bench는 AI 에이전트 하네스의 신뢰성을 컨텍스트, 실행, 거버넌스, 라이프사이클, 관측 가능성, 도구, 검증의 7개 구성 요소에 걸쳐 평가하는 벤치마크다. 95개의 전문가 수준 과제로 4개의 하네스와 9개의 모델을 비교했으며, 3,420회 실행에서 하네스 점수는 59.8%에서 72.0%였다. 하네스 기준을 하나 이상 충족하지 못한 실행 가운데 31.1%는 과제를 성공시켰다.