평가 출처공식 사이트
OfficeQA Pro
Databricks / 전문 업무 · 방대한 실제 재무 문서에서 검색하고 계산해 질문에 답합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
Pro는 133문항으로 고정하고 Full의 246문항, Pro V2의 90문항과 구분합니다. 엔드투엔드 검색과 답이 있는 페이지를 바로 주는 조건은 서로 다릅니다. Claude Agent SDK, Codex SDK, Antigravity CLI의 성적은 각 실행 시스템의 것이며, 통일된 기반 모델 평가로 섞을 수 없습니다. 측정하는 것은 문서 이해이며, 업무 문서 작성 품질을 나타내지는 않습니다.
활용 방식
관찰 중: 공식 측은 계속 갱신하고 있지만, 지금은 주로 서로 다른 제품의 실행 시스템을 비교하고 있으며 원래 집계 프로토콜은 확인 대기입니다. 자료 이해의 참고로 남겨 두되, 다른 도구 시스템의 성적을 기반 모델에 바로 귀속하지 않습니다.
한계와 데이터 출처
코드와 문제 세트의 라이선스가 외부 성적 전체에 자동으로 적용되지는 않습니다. 새 문제 세트와 이전 문제 세트, 엔드투엔드 조건과 답 페이지를 바로 주는 조건은 섞을 수 없으며, 현재는 성적을 자동 수집하지 않습니다.
데이터 라이선스: 코드는 Apache 2.0입니다. 문제 데이터는 CC BY-SA 4.0이며, 지금은 접근 신청이 필요한 Hugging Face 데이터셋으로 옮겨졌습니다.
Databricks에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.