AKV, 에이전트를 위한 캐시 엔지니어링 제안

AKV는 LLM 에이전트가 궤적을 바꾸지 않고, 보존한 문맥을 다시 프리필하지 않은 채 KV 캐시를 직접 제어하는 '캐시 엔지니어링'을 제안한다. 도구 응답을 롤링 방식으로 drop하는 캐시 정책은 임계값에 도달하면 요약하는 기존 방식과 비교해 평균 벤치마크 점수를 1.7포인트 높이고, 평균 비용을 27.7% 줄였다. AKV에서는 출력 처리량이 최대 1.2배, P95 요청 지연 시간이 1.5배 개선됐다. 캐시 정책의 재귀적 자기 개선은 전문가가 설계한 정책보다 비용을 7.1% 더 줄였다.