평가 출처공식 사이트
ARC-AGI-3
ARC Prize / 추론 · 처음 보는 규칙에서 배우고 일반화하기
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
표준 harness로 고정하고, 제공사가 전용으로 최적화한 adapter의 결과와는 구분합니다.
활용 방식
관찰 중: 공식 사이트의 Terms는 체계적인 수집과 집계에 서면 허가를 요구합니다. 현행 공식 결과를 집계할 수 있는 범위는 아직 확정되지 않았습니다. 표준 harness와 Provider Adapter는 구분하며, 전용 어댑터의 최고점을 일반적인 모델의 대표로 삼지 않습니다.
한계와 데이터 출처
관찰 중: 공식 사이트의 Terms는 체계적인 수집과 집계에 서면 허가를 요구합니다. 현행 공식 결과를 집계할 수 있는 범위는 아직 확정되지 않았습니다. 표준 harness와 Provider Adapter는 구분하며, 전용 어댑터의 최고점을 일반적인 모델의 대표로 삼지 않습니다.
데이터 라이선스: 순위 데이터 이용 범위 확인 대기
ARC Prize에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.