SimpleQA Verified

Name: SimpleQA Verified
Creator: Epoch AI

Epoch AI / 지식 · 짧은 질문에 대한 사실 정확도

클로데이트 반영 상태순위 반영

가중치4%

원본 데이터 기준 시각11/03 05:57

마지막 동기화11/05 08:05

무엇을, 어떻게 측정하나

Epoch가 자체적으로 다시 실행한 mean_score만 사용하며, 고정된 추론 설정을 씁니다. ECI나 Best score 집계 열은 읽어 들이지 않습니다.

정식으로 채점합니다. 같은 문제 계열은 고정 예산을 공유합니다.

정해진 규칙에 따라 공개 모델마다 하나의 구성을 대표로 씁니다. 익명 테스트 모델은 표시하지 않고 원래 순위를 유지하며, 평가마다 최대 30개입니다.

원래 순위	모델	원래 점수	대표 구성
1	gemini-4-argon_highGoogle	76.0%	High 추론
2	gpt-6-astra_maxOpenAI	75.6%	Max 추론
3	gpt-6.1-sol_maxOpenAI	73.9%	Max 추론
4	gemini-3.1-pro-preview_highGoogle	73.5%	High 추론
5	claude-opus-5-5_maxAnthropic	72.2%	Max 추론
6	claude-fable-5-1_maxAnthropic	70.8%	Max 추론
7	claude-fable-5_xhighAnthropic	70.7%	xHigh 추론
8	gemini-3.8-flash_highGoogle	69.7%	High 추론
8	gpt-5.6-sol_maxOpenAI	69.7%	Max 추론
10	gemini-3.7-flash_highGoogle	69.2%	High 추론
11	gemini-3-flash-preview_highGoogle	66.8%	High 추론
12	gemini-3.5-flash_highGoogle	66.2%	High 추론
12	gemini-3.6-flash_highGoogle	66.2%	High 추론
14	gpt-5.5_xhighOpenAI	63.0%	xHigh 추론
15	gpt-6-sol_maxOpenAI	60.7%	Max 추론
16	muse-spark-1.2_xhighMeta	60.3%	xHigh 추론
17	claude-opus-5_maxAnthropic	59.9%	Max 추론
18	muse-spark-1.1Meta	57.8%	출처 기본 구성
19	gpt-6.1-terra_maxOpenAI	57.3%	Max 추론
20	Muse-Spark-Open-816B-A42B_xhighMeta AI	56.6%	xHigh 추론
21	grok-4.7_xhighxAI	56.0%	xHigh 추론
22	qwen3.7-maxAlibaba	55.8%	출처 기본 구성
23	claude-opus-4-8_maxAnthropic	53.0%	Max 추론
24	deepseek-v4-pro-0813_maxDeepSeek	52.9%	Max 추론
25	qwen3.6-max-previewAlibaba	52.0%	출처 기본 구성
26	claude-opus-4-7_xhighAnthropic	51.7%	xHigh 추론
27	kimi-k3_maxMoonshot AI	50.6%	Max 추론
28	gpt-5-2025-08-07_highOpenAI	50.1%	High 추론
29	o3-2025-04-16_highOpenAI	49.4%	High 추론
31	grok-4.6_xhighxAI	48.9%	xHigh 추론

한계와 데이터 출처

정식으로 채점합니다. 같은 문제 계열은 고정 예산을 공유합니다.

데이터 라이선스: CC BY 4.0 · Epoch AI가 자체 실시한 평가 데이터

Epoch AI에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.