평가 출처공식 사이트
FACTS Parametric
Google DeepMind / Kaggle / 지식 · 검색 도구 없이 세계에 관한 사실 질문에 답하게 해 모델 자체 지식의 정확성을 검증합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
고정된 과제 버전의 Score만 고려하며, 공개 세트, 비공개 세트, 신뢰 구간은 검증용으로 남겨 둡니다. 관련된 점수 3개를 이중 계산할 수 없습니다. FACTS는 AA v4.3의 기초 벤치마크 10개 항목에 포함되지 않습니다.
활용 방식
관찰 중: 공식 프로토콜과 라이선스는 확인했지만, 완료한 문제 수나 완전성 표시가 없습니다. 일부 행은 구간이 지나치게 넓고, 종합 점수와 공개·비공개 세트의 집계 방식에도 확인 대기인 부분이 있습니다. 평가 주체의 설명을 기다립니다. 이상한 행을 지워 억지로 반영하지 않으며, 채점 예산도 배정하지 않습니다.
한계와 데이터 출처
심사위원과 평가 주최자가 모두 Google이어서 다른 기관의 근거와 함께 봐야 합니다. 내보낸 데이터에는 일부 결과가 같은 문제 세트를 끝까지 풀었는지에 대한 설명이 없어, 부분 결과를 완전한 평가로 다룰 수 없습니다. 구간에서 거꾸로 계산한 표본 수는 공식적으로 확인된 사실이 아닙니다.
데이터 라이선스: Apache 2.0 · 공식 benchmark와 Score task 페이지에 명시되어 있습니다. Kaggle 문서에 따르면 공개 순위 JSON은 로그인 없이 내려받을 수 있습니다.
Google DeepMind / Kaggle에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.