평가 출처공식 사이트
SpreadsheetBench 2
SpreadsheetBench / Renmin University / AfterQuery / 전문 업무 · 재무 모델링, 워크북 수정, 데이터 시각화까지 스프레드시트 업무를 처음부터 끝까지 처리합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
V2의 321개 과제와 통일된 SWE-agent 조건으로 고정합니다. 독립 업무 제품이나 다른 scaffold의 성적은 기반 모델에 귀속하지 않습니다. 표 시각화가 정확한 것과 폭넓은 미적 감각은 별개입니다.
활용 방식
관찰 중: 안정적인 JSON과 행별 날짜는 있지만, 현재 통일 조건에서 기반 모델 커버리지가 부족합니다. 이번 분기 모델이 실측된 뒤에 점수를 반영합니다.
한계와 데이터 출처
관찰 중: 안정적인 JSON과 행별 날짜는 있지만, 현재 통일 조건에서 기반 모델 커버리지가 부족합니다. 이번 분기 모델이 실측된 뒤에 점수를 반영합니다.
데이터 라이선스: 공식 사이트 푸터에 MIT로 표기되어 있습니다. 데이터셋과 코드 입구는 공개되어 있습니다.
SpreadsheetBench / Renmin University / AfterQuery에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.