평가 출처공식 사이트
AutomationBench
Zapier / 전문 업무 · 업무 소프트웨어를 넘나드는 자동화 작업
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
같은 공식 비공개 테스트 세트 구성으로만 비교합니다. Fable 5.1에 Opus 5가 섞인 폴백 행은 반드시 제외해야 합니다.
활용 방식
관찰 중: 공개 문제 세트는 공식 비공개 순위 데이터와 같지 않습니다. 안정적인 내보내기와 혼합 모델 표시는 여전히 확인이 필요합니다.
한계와 데이터 출처
관찰 중: 공개 문제 세트는 공식 비공개 순위 데이터와 같지 않습니다. 안정적인 내보내기와 혼합 모델 표시는 여전히 확인이 필요합니다.
데이터 라이선스: 순위 데이터 이용 범위 확인 대기
Zapier에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.