평가 출처공식 사이트
Mystery Game Puzzles
Epoch AI / 추론 · 처음 보는 규칙에서 올바른 행동을 이끌어 내기
클로데이트 반영 상태순위 반영
가중치1.2%
원본 데이터 기준 시각11/02 22:47
마지막 동기화11/05 08:05
무엇을, 어떻게 측정하나
Epoch 표준 프로토콜의 mean_score만 사용합니다. 문제가 비공개라는 제약은 명시해 남겨 둡니다.
활용 방식
정식으로 채점합니다. 같은 문제 계열은 고정 예산을 공유합니다.
결과
정해진 규칙에 따라 공개 모델마다 하나의 구성을 대표로 씁니다. 익명 테스트 모델은 표시하지 않고 원래 순위를 유지하며, 평가마다 최대 30개입니다.
| 원래 순위 | 모델 | 원래 점수 | 대표 구성 |
|---|---|---|---|
| 1 | gpt-6-astra_maxOpenAI | 84.0% | Max 추론 |
| 2 | gpt-6.1-sol_maxOpenAI | 80.0% | Max 추론 |
| 3 | gpt-6.1-terra_maxOpenAI | 74.0% | Max 추론 |
| 4 | claude-opus-5-5_maxAnthropic | 71.0% | Max 추론 |
| 5 | claude-sonnet-5-5_maxAnthropic | 65.0% | Max 추론 |
| 6 | gemini-4-argon_highGoogle | 64.0% | High 추론 |
| 7 | claude-opus-5_maxAnthropic | 59.0% | Max 추론 |
| 8 | gpt-5.6-sol_maxOpenAI | 58.0% | Max 추론 |
| 8 | claude-fable-5-1_maxAnthropic | 58.0% | Max 추론 |
| 10 | gpt-5.5_xhighOpenAI | 56.0% | xHigh 추론 |
| 10 | gpt-6-sol_maxOpenAI | 56.0% | Max 추론 |
| 12 | claude-fable-5_maxAnthropic | 52.0% | Max 추론 |
| 14 | muse-wonder-1.0_max— | 51.0% | Max 추론 |
| 15 | deepseek-v4.1-flash-1017_maxDeepSeek | 49.0% | Max 추론 |
| 16 | gemini-3.8-flash_highGoogle | 47.0% | High 추론 |
| 17 | deepseek-v4.1-flash_maxDeepSeek | 43.0% | Max 추론 |
| 17 | deepseek-v4-pro-0813_maxDeepSeek | 43.0% | Max 추론 |
| 19 | qwen3.8-max_xhighAlibaba | 38.0% | xHigh 추론 |
| 20 | gemini-3.7-flash_highGoogle | 37.0% | High 추론 |
| 20 | gpt-5.4-2026-03-05_xhighOpenAI | 37.0% | xHigh 추론 |
| 23 | claude-opus-4-8_maxAnthropic | 36.0% | Max 추론 |
| 24 | gpt-5.6-terra_maxOpenAI | 35.0% | Max 추론 |
| 24 | claude-sonnet-5_maxAnthropic | 35.0% | Max 추론 |
| 26 | gemini-3.1-pro-preview_highGoogle | 34.0% | High 추론 |
| 26 | deepseek-v4-flash-0731_maxDeepSeek | 34.0% | Max 추론 |
| 26 | grok-4.6_xhighxAI | 34.0% | xHigh 추론 |
| 29 | glm-5.3_maxZ.ai | 33.0% | Max 추론 |
| 31 | qwen3.7-maxAlibaba | 32.0% | 출처 기본 구성 |
| 31 | gemini-3.5-flash_highGoogle | 32.0% | High 추론 |
| 35 | gemini-3.6-flash_highGoogle | 30.0% | High 추론 |
한계와 데이터 출처
정식으로 채점합니다. 같은 문제 계열은 고정 예산을 공유합니다.
데이터 라이선스: CC BY 4.0 · Epoch AI가 자체 실시한 평가 데이터
Epoch AI에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.