평가 출처공식 사이트
FinanceBenchmark
FinanceBenchmark / 전문 업무 · 금융 가격 산정, 자본 계산, 리스크 관리 과제를 수행하고 수치와 코드 실행 결과로 검증합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
문제 세트 v2, v3와 실행 환경 버전은 구분합니다. 문제당 3회 시도하는 조건을 남겨 둡니다. 공식 사이트의 Tasks passed는 최소 1회 성공을 뜻하지만 동시에 Pass@1이라고도 불려, 1회당 평균 정답률과 혼동할 수 없습니다. Finance Index도 별도의 집계 지표입니다.
활용 방식
관찰 중: 정답이 확정되고 코드로 검증되는 금융 근거를 보완할 수 있습니다. 지표 정의는 아직 대조가 필요하며, 공식 Sol 결과 JSON 다운로드는 이번에 404를 반환했습니다. 현재는 출처만 등록하며 자동 수집도 채점도 하지 않습니다.
한계와 데이터 출처
3회 중 1회 이상 성공은 1회당 성공률과 다릅니다. 구간은 올바른 지표에 대응해야 하며, 롤링 모델 별칭도 버전 검증이 필요합니다. 문제 세트와 다운로드 버튼이 공개되어 있어도 원래 성적을 받을 수 있다는 보장은 없습니다.
데이터 라이선스: 공식 저장소의 코드는 MIT이며, 사이트는 FinanceBenchmark 인용을 남기도록 요구합니다. 실시간 성적 전체 내보내기의 이용 범위는 미확인이며, 코드 라이선스를 순위 데이터 라이선스 대신 쓰지 않습니다.
FinanceBenchmark에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.