AI 에이전트의 장기적 판단력을 측정하는 Taste-Bench, 최고 모델도 정답률은 약 60%
AI agents have bad taste in long-term decisions and a new benchmark proves it
연구진은 AI 에이전트가 장기적으로 올바른 선택을 내리는 능력을 「taste」라고 부르며, 이를 측정하는 벤치마크 Taste-Bench를 공개했다. 502개 문제를 14개 모델로 풀게 한 결과, 최고 성능인 GPT-5.6 Sol도 평균 59.7%에 그쳤다. 증류로 학습한 소형 모델의 조언을 받자 SWE-bench Pro의 41개 과제에서 성공률이 14.6%에서 33.7%로 올랐다.
Taste-Bench는 에이전트의 실행 기록(트레이스)에서 「판단의 분기점」을 추출해 만들었다. 같은 과제에 대한 여러 시도가 서로 다른 방향으로 갈라지는 지점, 그리고 한 번의 실행 안에서 스스로 수정하며 우회한 지점이 대상이다. 분기점에서 실행을 멈추고 그 이후의 작업은 가린 뒤, 모델에게 두 방향 중 어느 쪽이 더 나은지 고르게 한다. 장기적 선택은 그 자리에서 평가하기 어렵기 때문에, 이후의 결과를 보고 좋고 나쁨을 판정하는 방식을 택했다.
데이터는 SWE-bench Pro와 METR의 공개 기록 MALT 등 코딩 및 AI 연구 과제의 채점된 실행 기록으로 구성되었다. 생성 모델이 적절한 분기점을 골라냈으며, 자명하거나 판정할 수 없는 문제는 제외했다. 사람이 검토한 결과 자동 생성된 라벨은 거의 전부 타당한 것으로 확인되었다.
Claude, GPT, Grok, DeepSeek, GLM, MiniMax, Mistral의 14개 모델에 선택지 순서를 바꿔 두 번씩 출제했고, 두 번 모두 맞힌 경우에만 정답으로 인정했다. 우연에 의한 정답률은 25%였으며, 최고는 GPT-5.6 Sol의 59.7%, 그다음은 GPT-5.5의 59.5%였다. 우회를 수반하는 분기는 병렬 분기보다 어려웠다.
결정적인 단서가 앞 단계에서 이미 보이는 경우 전체 모델 평균 정답률은 62.3%였지만, 단서가 이후 작업에서 처음 나타나는 경우에는 21%까지 떨어져 거의 찍기 수준이 되었다. 두 모델에서 추론 설정을 세 단계로 바꿔도 정답률은 거의 달라지지 않았으며, 가장 어려운 구간에서는 추론 토큰을 많이 쓰면서도 오답이 많았다.
저자들은 taste가 학습될 수 있음도 보였다. 정답 경로를 아는 교사 모델의 판단을 문제만 보는 학생 모델(Qwen3.6-27B 기반)에 증류했더니, 본 적 없는 과제의 정답률이 30%에서 47.9%로 올랐다. 이 학생의 조언을 각 분기점에서 과제 문맥에 덧붙여 다른 에이전트가 풀게 하자, SWE-bench Pro 41건의 성공률이 14.6%에서 33.7%가 되었다. 완전히 정확한 조언을 준 경우에는 39%였다고 한다. 벤치마크와 코드는 공개되어 있다.
출처: The Decoder · the-decoder.com