ReviewBench: 오픈 AI 코드 리뷰 벤치마크
GitHub가 AI 코드 리뷰를 위한 오프라인 벤치마크 「ReviewBench」를 공개했으며, 현재 이용할 수 있다. GitHub의 PR 1억 3,900만 건(103.9M)의 분포를 바탕으로 19개 언어, 공개 PR 219건으로 구성되며, 사람 리뷰어, 프론티어 LLM, 정적 분석으로 만든 골든 세트를 사용한다. 시니어 엔지니어가 독립적으로 검증한 결과 96.6%의 일치율을 보였으며, Copilot code review의 오프라인 평가 역시 실제 운영 실험의 방향을 더 쉽게 예측할 수 있게 되었다.