EvalResearchBench, AI 에이전트는 재귀적 자기 개선을 위한 평가를 스스로 설계할 수 있는가

AI 에이전트가 평가 벤치마크를 자율적으로 설계할 수 있는지 측정하는 'EvalResearchBench(ERB)'가 제안되었다. 최고의 평가기는 후보 모델 쌍 가운데 약 75%의 순위를 목표 벤치마크와 일치시켰지만, 목표 벤치마크끼리의 불일치로 정해진 상한인 91%에는 도달하지 못했다. 9개의 researcher, 13개의 후보 모델, 14개의 목표 벤치마크로 비교한 결과, 사람이 설계한 공개 태스크 샘플이 여전히 강력한 베이스라인이었으며, 모든 지표에서 1위를 차지한 researcher는 없었다.