평가 출처공식 사이트
Harvey Legal Agent Benchmark
Vals AI / Harvey / 전문 업무 · 법률 자료를 처리해 Word, Excel, 슬라이드 등 검토 가능한 파일을 납품합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
Harvey의 비공개 테스트 세트, 6종의 파일 도구, docx·xlsx·pptx 스킬로 고정하고 인터넷은 쓰지 못하게 합니다. 심사자 2명이 매긴 과제 전체 합격률의 평균을 사용하며, 항목별 조건 합격률로 대신하지 않습니다. Fable 5에 Opus 4.8 폴백이 포함된 11.25%는 단일 모델의 성적으로 볼 수 없습니다. 공식은 폴백 없는 10.42%도 따로 게재하고 있어, 통일된 구성 방침에 따라 심사해야 합니다.
활용 방식
관찰 중: 법률 업무 전 과정을 다루는 증거를 우선 보완합니다. 안정적인 성적 내보내기, 구성, 재표시 범위가 정해지지 않아 현재는 출처만 등록하며 자동 수집도 점수 반영도 하지 않습니다.
한계와 데이터 출처
모델 폴백과 심사 조건이 비교 가능성에 영향을 줍니다. 약 90%의 항목별 조건 합격률이 업무 전체의 완료를 뜻하지는 않습니다. Vals에 속한 여러 전문 평가를 여러 독립 기관으로 볼 수 없으며, 순위 수에 따라 총가중치를 늘릴 수도 없습니다.
데이터 라이선스: 공식 공개 성적은 열람할 수 있습니다. Harvey가 공개한 문제 세트와 코드의 라이선스는 Vals 비공개 테스트 성적에 자동으로 적용되지 않으며, 순위 데이터의 재표시 범위는 확인 대기입니다.
Vals AI / Harvey에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.