평가 출처공식 사이트
SWE-rebench
Nebius / 코딩 · 실제 저장소의 이슈를 꾸준히 수집해 여러 프로그래밍 언어에서의 소프트웨어 수정 능력을 비교합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
과제 기간, ReAct 환경, text/tools 상호작용 프로토콜을 고정하고, 여러 번 실행한 평균 해결률과 표준 오차를 사용합니다. 완성형 Agent 제품과 기반 모델을 같은 대상으로 다루지 않습니다.
활용 방식
후보로 관찰 중: 실제 저장소 과제는 보완할 가치가 있습니다. 검증 가능한 실행 날짜, 안정적인 성적 프로토콜, 재표시 범위를 기다립니다. 자동 수집과 채점은 아직 시작하지 않았습니다.
한계와 데이터 출처
바뀌는 문제, 실행 환경, 과제 기간이 비교 가능성에 영향을 줍니다. 사이트가 최근 갱신되었더라도 모든 모델을 다시 테스트했다는 뜻은 아닙니다.
데이터 라이선스: 공식 Hugging Face의 CC BY 4.0 데이터셋은 문제 세트입니다. 웹에 나온 최종 성적의 안정적인 내보내기와 재표시 범위는 미확인입니다.
Nebius에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.