에이전트용 모델 라우팅은 단순하지 않다

에이전트를 위한 모델 라우팅은 모델 선택을 분류하는 문제가 아니라, 비용·품질·지연 시간을 동시에 최적화하는 시스템 최적화 문제로 다뤄야 한다고 주장한다. AppWorld Test Challenge의 417개 태스크에서 동일한 CodeAct 에이전트의 총비용은 Sonnet이 79달러(태스크당 0.19달러)였던 반면, GPT-4.1은 155달러(태스크당 0.37달러)로 약 2배에 달했다. 캐시가 작동하는 방식의 차이가 단가 차이를 뒤집은 것이다. 제안하는 라우터 구성 1은 Opus 단독 사용과 비교해 비용을 21%, 지연 시간을 9% 줄였으며, 정확도 하락은 4%에 그쳐 84%를 달성했다.