Microsoft, DB 상태로 에이전트를 채점하는 ThinkingBox를 Hugging Face에 공개
The Agent Said It Was Done. The Database Disagreed.
Microsoft와 Hugging Face는 AI 에이전트가 남기는 백엔드 상태와 부작용으로 채점하는 벤치마크 ThinkingBox를 공개했다. 507개의 업무 워크플로를 각각 20회씩 실행했으며, Claude Opus 5.5가 pass@1 67.16%로 최상위를 기록했다. OpenEnv를 통해 자신의 모델도 평가할 수 있다.
ThinkingBox는 에이전트가 생성한 문장이 아니라, 종료 시점의 데이터베이스 상태와 부작용을 실행 가능한 검사로 채점한다. 도입 예시에서 에이전트는 배송 지연 문의에서 도구를 9회 올바르게 호출했지만, 티켓을 solved로 닫았다. 필요한 최종 상태는 hold였고, 데이터베이스가 그 불일치를 보여주었다. 유효 시도 121,680건을 사용한 12개 모델 절제 실험에서는 실패 79,853건 가운데 67.24%가 정상 종료됐고, 최종 도구 오류도 보고하지 않았다.
평가에서는 모든 과제를 동일한 초기 백엔드에서 20회 독립적으로 실행하고, pass@1, pass@20, 관측된 20/20 달성 수를 보고한다. pass@1에서는 Claude Opus 5.5가 67.16%로 1위였고, 오픈 웨이트 최상위는 Kimi-K3로 57.37%였다. 반면 20회 모두 성공한 과제 수는 Claude Opus 5.5와 Claude Opus 5가 모두 241건이었고, Kimi-K3는 68건에 그쳤다. Kimi-K3는 최소 1회 해결한 과제가 476건으로 가장 넓지만 일관성은 낮다.
비용은 성공 1회당과 20회 모두 성공한 과제 1건당의 두 가지 방식으로 추산했다. 성공 1회당 비용은 GPT-5.6 Sol이 $0.127로 가장 저렴하지만, 20/20 과제 1건당으로는 $9.76이 된다. GPT-5.4는 $6.80으로 가장 저렴하지만 달성은 128개 과제에 머문다. 실패 특성에서는 도구 사용 문제가 79.9%를 차지했고, 상태 갱신 오류는 10.3%였다.
실행은 OpenEnv 인터페이스를 통해 이루어지며, 각 에피소드는 합격/불합격의 이진 보상을 반환한다. 하네스와 데이터셋은 Hugging Face에서 공개되어 있다. 코드는 MIT, 데이터는 CDLA-Permissive-2.0, OpenEnv 환경은 BSD-3-Clause로 제공된다. 공개 과제는 모두 합성이며, 고객도 실재하지 않는다.
최종 응답이 아니라 DB 상태를 기준으로 채점하고, 20회 반복에 걸친 일관성과 비용까지 수치로 비교했다는 점에서 에이전트 평가 설계를 고민할 때 참고할 만한 자료다.
출처: Hugging Face Blog · huggingface.co