코딩 에이전트 하네스, 비용만 높을 뿐 성능은 오르지 않는다는 연구 결과

연구에서는 Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash, HY4-Preview의 5개 모델을 Claude Code, OpenCode, mini-SWE-agent의 3개 하네스로 평가했다. SWE-bench Verified의 어려운 문제 45건과 별도의 447건을 사용했으며, 여러 설정은 2회씩 실행해 노이즈를 측정했다. 기존 비교는 대부분 1회 실행에 근거하지만, 같은 설정을 다시 실행해도 SWE-bench Verified에서 최대 6포인트가 변동한다. Zhipu AI가 주장하는 Claude Code 대비 2.4포인트의 우위도 이 범위 안에 든다.

447건의 과제에서 가장 무거운 Claude Code와 가장 가벼운 mini-SWE-agent의 차이는 2포인트 미만이었으며, 5포인트 폭 안에서 통계적으로 동등했다. 과제별 결과가 바뀌는 비율은 재실행 간 13%, 하네스 간 13%, 모델 간 22%였다. 45건에서는 13포인트 차이도 절반의 확률로만 검출할 수 있었고, 447건에서도 신뢰하고 검출할 수 있는 차이는 약 5포인트부터다.

측정된 하네스 효과는 OpenCode의 저하뿐이었으며, 대규모 과제군에서 다른 두 하네스보다 최대 9포인트 낮았다. 차이의 약 절반은 출력 상한 때문이었다. 추론 중 상한을 넘으면 Claude Code는 계속하도록 재촉하지만, OpenCode는 그 시점에 단계를 끝낸다. 나머지 이유는 저자도 설명하지 못했으며, OpenCode에서는 모델이 작업을 일찍 멈추는 경향이 보였다고 한다.

비용은 시스템 프롬프트와 도구 설명의 크기에 따라 결정된다. 이들은 매 단계마다 다시 전송되며, Claude Code는 약 16,600토큰, OpenCode는 약 7,000토큰, mini-SWE-agent는 1,000토큰 미만이었다. 같은 모델과 과제라도 과제당 비용은 최대 3배까지 차이가 난다. GLM-5.3-Flash에서는 1회 시도가 Claude Code에서 1.81위안, OpenCode에서 0.56위안이었다. Deepseek-V4-Flash에서는 mini-SWE-agent의 단계 수가 늘어나 Claude Code와 거의 같은 금액이 되었다.

확장 사고(Extended Thinking)를 끄면 Qwen3.6의 mini-SWE-agent는 11포인트, HY4-Preview의 Claude Code도 11포인트 떨어졌다. 저자는 이것이 모델과 하네스의 조합에 따라 달라진다고 하면서도, 검증 설계가 작아 이유는 설명할 수 없다고 본다. 결과는 주로 하나의 벤치마크에 의존하며, Terminal-Bench 2.1에서의 소규모 확인에서도 같은 경향이 나타났다. 저자는 하네스 비교에는 동일 설정의 재실행 결과를 함께 제시할 것을 권장한다.