ToolSpace: 장기 과업용 AI 에이전트를 위한 도구 중심 환경 합성의 확장
ToolSpace는 실행 트레이스에서 의존 관계를 추출해 도구 중심의 환경과 과업을 합성하는 프레임워크다. 7개의 장기 도구 활용 벤치마크에서 Qwen3.6-35B-A3B의 평균 점수는 23.0에서 41.0으로 올랐고(RL 병용 시 43.2), GLM-5.2는 44.6에서 56.6으로 향상되어 Claude Opus 5와 같은 수준에 도달했다.
#MCP·툴 연동
#MCP·툴 연동
오늘 0건Hugging Face Daily PapersAI 점수4141
Apple Machine Learning ResearchAI 점수4040 실기기 iOS 앱의 UI 내비게이션을 학습하는 온라인 강화학습 에이전트
Planning agent와 UI Grounding model로 나눈 8B 규모 UI 내비게이션 에이전트를 실기기 iOS 앱에서 온라인 강화학습으로 직접 학습시키는 방법이 제안되었다. 보상은 LLM-as-a-Judge에 의한 단계별 평가와 최종 과제 완료 보상을 결합했으며, PPO와 GiGPPO로 최적화한다. Android 환경으로의 일반화에서는 SFT 베이스라인 대비 약 7배의 개선을 보였고, 실기기 iOS 앱에서는 Gemini-3.5-Flash를 웃돌고 Gemini-3.1-Pro와 동등한 성능을 기록했다.
Hugging Face Daily PapersAI 점수3535 OpenVLHarness, 멀티모달 메모리를 갖춘 시각 에이전트형 도구 활용 프레임워크 공개
OpenVLHarness는 능력 레이어와 영속적인 멀티모달 메모리를 결합한 추론 하네스로, MLLM이 이종 도구에서 얻은 시각적 증거를 검색하고, 검사하고, 합성하면서 추론할 수 있도록 한다. 22개 벤치마크와 8개 백본으로 평가했으며, 도구를 사용하지 않는 베이스라인에 비해 평균 점수를 9.7~12.6포인트 끌어올렸다. GPT-6 Luna(medium 추론 강도)는 최대 강도의 기반 모델, Codex, Visual Sketchpad보다 7.7~8.5포인트 높았으며, 모델 토큰 비용은 최대 37%에 그쳤다.
Hugging Face Daily PapersAI 점수4343 OpenDS-World, 실제 웹 환경에서 심층 검색 에이전트를 평가하는 벤치마크
OpenDS-World는 실제 웹에서 다단계 심층 검색을 수행하는 에이전트를 평가하는 벤치마크로, 200개의 과제를 포함한다. 12개의 프런티어 모델을 통합 도구 환경에서 평가한 결과 최고 정확도는 39.0%로, 1,000회의 독립적인 시도에서 나온 인간의 정확도 21.1%를 웃돌았다. 도구 활용, 검색 비용, 실패 후 회복에 대한 분석에서는 모델마다 연구 전략이 크게 달랐으며, 도구 연계와 장기적인 검색 관리에는 여전히 과제가 남아 있음이 드러났다.
Apple Machine Learning ResearchAI 점수3838 계획이 먼저인가 검색이 먼저인가, 도구 탐색 아키텍처의 규모 비교
도구 사용형 LLM 에이전트에서 LLM이 먼저 계획을 세우는 Plan-then-Retrieve(PtR) 방식은, 여러 도구가 필요한 질의에서는 Retrieve-then-Plan(RtP) 방식을 웃돌았고, 단일 도구 질의에서는 뒤처지는 것으로 나타났다. ToolBench(46,984개 API 엔드포인트)에서의 평가에서도 이 경향은 검색 건수 k=1~20과 1,000~47,000개 규모의 레지스트리 전반에서 일관되게 나타났다. PtR은 추론 비용이 약 2배 들기 때문에, RtP의 상위 1건 검색 점수를 활용해 질의 복잡도에 따라 방식을 바꾸는 적응형 라우팅이 실용적인 방향으로 제시되었다.
Apple Machine Learning ResearchAI 점수4242 SELFCOMPACT, 언어 모델 에이전트가 스스로 문맥을 압축하는 기법
SELFCOMPACT는 모델 스스로 문맥을 언제, 어떻게 압축할지 결정하는 에이전트용 스캐폴드다. 압축 도구와 압축해야 할 때와 억제해야 할 때를 정하는 경량 루브릭을 결합해, 파인튜닝 없이 적응형 압축을 구현한다. 6개 벤치마크(경쟁 수학과 에이전트형 검색)와 7개 모델로 평가한 결과, 고정 간격 요약과 같거나 그 이상의 성능을 더 적은 토큰 비용으로 달성했다. 수학에서는 요약을 하지 않은 베이스라인보다 최대 18.1포인트, 에이전트형 검색에서는 5~9포인트 높았으며, 문제당 비용은 30~70% 낮았다.
Hugging Face Blog주요 뉴스AI 점수6060 Microsoft, DB 상태로 에이전트를 채점하는 ThinkingBox를 Hugging Face에 공개
Microsoft와 Hugging Face는 AI 에이전트가 남기는 백엔드 상태와 부작용으로 채점하는 벤치마크 ThinkingBox를 공개했다. 507개의 업무 워크플로를 각각 20회씩 실행했으며, Claude Opus 5.5가 pass@1 67.16%로 최상위를 기록했다. OpenEnv를 통해 자신의 모델도 평가할 수 있다.
선정 이유: 최종 응답이 아니라 DB 상태를 기준으로 채점하고, 20회 반복에 걸친 일관성과 비용까지 수치로 비교했다는 점에서 에이전트 평가 설계를 고민할 때 참고할 만한 자료다.
Hugging Face BlogAI 점수4747 MCP 에이전트 답변의 출처를 검증하는 ProvenanceGuard
Hugging Face는 MCP 에이전트의 답변을 출처 단위로 검증하는 후처리 레이어 ProvenanceGuard를 제안했다. 근거 전체로는 뒷받침되지만 답변이 지목한 출처가 아닌 다른 출처에만 존재하는 주장, 이른바 출처 오인을 탐지한다. 의료 에이전트의 281건 트레이스로 평가한 결과, 전문가가 통과시키면 안 된다고 본 139건 중 138건을 탐지했으며, 뒷받침된다고 판단된 67건은 재확인이나 수정 대상으로 넘겼다.
Google Research BlogAI 점수4141 ToolGrad, 텍스트 '그래디언트'를 활용한 효율적인 도구 사용 데이터셋 생성
Google Research가 도구 사용 체인을 먼저 생성한 뒤 사용자 쿼리를 붙이는 answer-first 방식의 데이터 생성 기법 ToolGrad를 제안했다. ToolGrad-500으로 미세 조정한 Gemma-3 12B 모델(ToolGrad-12B)은 BFCL에서 83.1점을 기록해 gemini-2.5-pro(83.2)에 근접했으며, claude-4.5 Opus(82.8)와 gpt-5(74.4)를 앞섰다. 데이터 생성에는 gemini-2.5-flash-lite를 사용했으며, 거의 100%에 가까운 통과율을 보였다고 밝혔다.