Apple Machine Learning Research·· 21일 전AI 점수38
계획이 먼저인가 검색이 먼저인가, 도구 탐색 아키텍처의 규모 비교
Plan or Retrieve First? A Scale Study of Tool Discovery Architectures
AI 요약
도구 사용형 LLM 에이전트에서 LLM이 먼저 계획을 세우는 Plan-then-Retrieve(PtR) 방식은, 여러 도구가 필요한 질의에서는 Retrieve-then-Plan(RtP) 방식을 웃돌았고, 단일 도구 질의에서는 뒤처지는 것으로 나타났다. ToolBench(46,984개 API 엔드포인트)에서의 평가에서도 이 경향은 검색 건수 k=1~20과 1,000~47,000개 규모의 레지스트리 전반에서 일관되게 나타났다. PtR은 추론 비용이 약 2배 들기 때문에, RtP의 상위 1건 검색 점수를 활용해 질의 복잡도에 따라 방식을 바꾸는 적응형 라우팅이 실용적인 방향으로 제시되었다.
출처: Apple Machine Learning Research · machinelearning.apple.com