평가 출처공식 사이트
PRBench · Legal
Scale AI / 전문 업무 · 실제 법률 업무의 복잡한 질문에 답하게 해 전문적 판단과 논증의 질을 검증합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
Legal 전체 500문항 또는 Hard 250문항 중 하나로 고정하고, 검색 도구, 추론 설정, 심사 모델 버전을 맞춥니다. 해당 문제 세트의 rubric 집계 점수를 사용하며, 전체판과 고난도 하위 세트를 이중 계산하지 않고 전문 질의응답을 완전한 문서 납품으로 표현하지도 않습니다.
활용 방식
관찰 중: 법률 전문 판단을 보완할 수 있습니다. 먼저 문제 세트, 도구 조건, 성적 배치를 확인합니다. 현재는 출처만 등록하며 자동 수집도 점수 반영도 하지 않습니다.
한계와 데이터 출처
모델 심사로 평가하므로 심사 모델의 선호가 반영됩니다. 같은 기관의 법률·금융 전문 평가는 영향 범위를 공유해야 하며, 두 개의 독립된 증거로 다룰 수 없습니다. Word, Excel, 슬라이드 작성 능력을 직접 측정하지 않습니다.
데이터 라이선스: 공식 문제 세트와 평가 코드는 공개되어 있습니다. 그 라이선스가 실시간 순위 결과에 자동으로 적용되지는 않으며, 최신 결과의 안정적인 내보내기와 재표시 범위는 확인 대기.
Scale AI에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.