본문 바로가기
평가 출처

Mystery Game Puzzles

Epoch AI / 추론 · 처음 보는 규칙에서 올바른 행동을 이끌어 내기

공식 사이트
클로데이트 반영 상태순위 반영
가중치1.2%
원본 데이터 기준 시각11/02 22:47
마지막 동기화11/05 08:05

무엇을, 어떻게 측정하나

Epoch 표준 프로토콜의 mean_score만 사용합니다. 문제가 비공개라는 제약은 명시해 남겨 둡니다.

활용 방식

정식으로 채점합니다. 같은 문제 계열은 고정 예산을 공유합니다.

결과

정해진 규칙에 따라 공개 모델마다 하나의 구성을 대표로 씁니다. 익명 테스트 모델은 표시하지 않고 원래 순위를 유지하며, 평가마다 최대 30개입니다.

원래 순위모델원래 점수대표 구성
1gpt-6-astra_maxOpenAI84.0%Max 추론
2gpt-6.1-sol_maxOpenAI80.0%Max 추론
3gpt-6.1-terra_maxOpenAI74.0%Max 추론
4claude-opus-5-5_maxAnthropic71.0%Max 추론
5claude-sonnet-5-5_maxAnthropic65.0%Max 추론
6gemini-4-argon_highGoogle64.0%High 추론
7claude-opus-5_maxAnthropic59.0%Max 추론
8gpt-5.6-sol_maxOpenAI58.0%Max 추론
8claude-fable-5-1_maxAnthropic58.0%Max 추론
10gpt-5.5_xhighOpenAI56.0%xHigh 추론
10gpt-6-sol_maxOpenAI56.0%Max 추론
12claude-fable-5_maxAnthropic52.0%Max 추론
14muse-wonder-1.0_max—51.0%Max 추론
15deepseek-v4.1-flash-1017_maxDeepSeek49.0%Max 추론
16gemini-3.8-flash_highGoogle47.0%High 추론
17deepseek-v4.1-flash_maxDeepSeek43.0%Max 추론
17deepseek-v4-pro-0813_maxDeepSeek43.0%Max 추론
19qwen3.8-max_xhighAlibaba38.0%xHigh 추론
20gemini-3.7-flash_highGoogle37.0%High 추론
20gpt-5.4-2026-03-05_xhighOpenAI37.0%xHigh 추론
23claude-opus-4-8_maxAnthropic36.0%Max 추론
24gpt-5.6-terra_maxOpenAI35.0%Max 추론
24claude-sonnet-5_maxAnthropic35.0%Max 추론
26gemini-3.1-pro-preview_highGoogle34.0%High 추론
26deepseek-v4-flash-0731_maxDeepSeek34.0%Max 추론
26grok-4.6_xhighxAI34.0%xHigh 추론
29glm-5.3_maxZ.ai33.0%Max 추론
31qwen3.7-maxAlibaba32.0%출처 기본 구성
31gemini-3.5-flash_highGoogle32.0%High 추론
35gemini-3.6-flash_highGoogle30.0%High 추론
한계와 데이터 출처

정식으로 채점합니다. 같은 문제 계열은 고정 예산을 공유합니다.

데이터 라이선스: CC BY 4.0 · Epoch AI가 자체 실시한 평가 데이터

Epoch AI에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.