평가 출처공식 사이트
Humanity’s Last Exam
CAIS / Scale AI / 지식 · 여러 분야에 걸친 고난도 학술 지식과 추론
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
문제 세트, 도구 조건, 심사 모델을 고정하고 HLE, HLE-Rolling, 도구 사용 결과는 따로 비교합니다. AA v4.3에 이미 HLE가 포함되어 있으므로, 앞으로 쓸 수 있는 전문 성적이 생기더라도 카테고리용으로만 쓰고 종합 순위에서는 이중 계산하지 않습니다.
활용 방식
관찰 중: 공식이 일부 새 모델을 추가했지만 원본 성적에는 아직 검증 가능한 평가 날짜가 없습니다. Epoch 자체 평가 데이터의 라이선스는 적용하지 않으며, 기존 AA 종합 증거에 다시 가점하지 않습니다.
한계와 데이터 출처
관찰 중: 공식이 일부 새 모델을 추가했지만 원본 성적에는 아직 검증 가능한 평가 날짜가 없습니다. Epoch 자체 평가 데이터의 라이선스는 적용하지 않으며, 기존 AA 종합 증거에 다시 가점하지 않습니다.
데이터 라이선스: 평가 코드는 MIT입니다. 공식 순위 성적의 재표시 범위는 확인 대기입니다.
CAIS / Scale AI에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.