Δτ-Bench, 진화하는 도구 생태계에 대한 에이전트 적응을 평가하는 벤치마크

Δτ-Bench는 도구 생태계의 구조적 변화에 대한 에이전트의 적응력을 평가하는 실행 가능한 벤치마크이다. 검증된 태스크 1,588건으로 평가한 결과, 가장 강력한 모델이나 harness에서도 태스크 성공률은 42.3%에 그쳤다. 제안 기법인 Steward는 도구와 절차적 지식을 단계적으로 유지·관리하면서 동적으로 제공하는 방식으로, 실험에서 유지 비용을 억제하면서도 높은 성공률을 유지했다.