평가 출처공식 사이트
Mercor APEX-Agents 1.1
Mercor / 전문 업무 · 투자은행, 컨설팅, 법률 분야의 긴 과제에서 모델이 어시스턴트로서 일련의 업무를 끝까지 해낼 수 있는지 봅니다.
클로데이트 반영 상태순위 반영
가중치4%
원본 데이터 기준 시각09/08 09:00
마지막 동기화11/05 08:05
무엇을, 어떻게 측정하나
1.1 데이터셋과 공식 Loop 환경으로 고정하고 Pass@1과 그 오차를 반영합니다. 추론 설정은 사전에 고정한 기준으로 고릅니다. Mean Score는 채점 항목의 평균 달성도이므로 과제 완료율과 혼동하지 않습니다.
활용 방식
1.1 버전 공식 Loop의 Pass@1로 고정하며, 도구·업무 예산 중 4%를 단독으로 차지합니다. 별도로 2%를 통일 환경의 은행 업무 과제에 배정합니다.
결과
정해진 규칙에 따라 공개 모델마다 하나의 구성을 대표로 씁니다. 익명 테스트 모델은 표시하지 않고 원래 순위를 유지하며, 평가마다 최대 30개입니다.
| 원래 순위 | 모델 | 원래 점수 | 대표 구성 |
|---|---|---|---|
| 1 | gemini-4-carbongoogle | 84.2% | High 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 2 | gemini-4-argonGoogle | 82.4% | High 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 3 | claude-sonnet-5-5Anthropic | 75.5% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 4 | claude-opus-5-5Anthropic | 73.5% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 5 | deepseek-v4-1-flash-1017DeepSeek | 69.8% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 6 | claude-fable-5.1Anthropic | 68.6% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 7 | gpt-6-1-terraOpenAI | 68.3% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 8 | gemini-3.7-flashGoogle | 67.8% | High 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 9 | muse-wonder-1-0-max— | 66.1% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 10 | claude-opus-5Anthropic | 65.8% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 11 | kimi-k3.1-proKimi | 65.5% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 12 | grok-4-6-xhighxAI | 65.3% | xHigh 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 13 | gpt-6-astra-maxOpenAI | 64.7% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 14 | gemini-3.8-flashGoogle | 64.3% | High 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 15 | claude-fable-5Anthropic | 63.6% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 16 | qwen-3-8-max-xhighAlibaba | 63.3% | xHigh 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 17 | gpt-6-1-solOpenAI | 60.0% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 20 | gpt-5.6-terra-maxOpenAI | 58.2% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 21 | mimo-v2.6-flash-rlXiaomi | 57.4% | 시스템 전체 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 22 | glm-5-3Z.ai | 56.6% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 23 | grok-4-5xAI | 56.2% | High 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 24 | claude-haiku-5-5Anthropic | 56.1% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 25 | deepseek-v4-flashDeepSeek | 55.3% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 26 | gpt-5.5-xhighOpenAI | 55.1% | xHigh 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 27 | grok-4.7xAI | 54.6% | xHigh 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 28 | claude-sonnet-5-maxAnthropic | 54.5% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 29 | mimo-v2.6-proXiaomi | 54.4% | 시스템 전체 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 30 | gpt-6-solOpenAI | 54.3% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 31 | minimax-m3p1-flashMiniMax | 53.9% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 32 | glm-5-3-flashZ.ai | 52.8% | Max 추론 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
한계와 데이터 출처
투자은행, 컨설팅, 법률 과제로 한정됩니다. 원래 페이지에는 모델별 평가 날짜가 없고, 일부 실행이 빠진 이유도 공표되지 않았습니다. 이 점수를 모든 사무 작업의 신뢰도로 해석할 수는 없습니다.
데이터 라이선스: 공식 공개 결과. 데이터와 코드의 라이선스가 순위의 재배포 허가를 뜻하지는 않음
Mercor에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.