본문 바로가기
모델 순위로 돌아가기

순위 결정 방식

순위는 여러 공개 평가를 종합해 만듭니다. 그 뒤에 있는 근거와 방법을 소개합니다.

0~100

공통 근거에서 나온 분명한 순서.

여러 공개 평가를 종합해, 알려진 점수와 가장 적게 모순되는 전체 순서를 찾습니다. 종합 순위와 4개 분야별 순위는 각각 상위 30개를 보여 줍니다.

합의 지수는 기본 순서를 뒷받침하는 근거의 차이를 비교하기 쉽도록 0~100으로 환산한 값입니다. 정답률도 아니고 능력 차이를 나타내는 백분율도 아닙니다. 지지가 팽팽하면 동점이 될 수 있지만, 순위는 언제나 근거 전체로 정해집니다.

  1. 01

    먼저 같은 모델인지 확인합니다

    모든 리더보드의 모델명과 버전을 통일합니다. 한 모델이 여러 추론 수준으로 등장하면 대표 구성 하나만 고릅니다. 선택 규칙은 미리 정해 두며, 가장 높은 점수를 골라 쓰지 않습니다. 익명 테스트의 코드명이나 다른 모델의 도움을 받아 과제를 마친 점수는 제외합니다. 정식 출시된 Preview 버전은 포함합니다.

  2. 02

    실제로 함께 평가된 모델끼리 비교합니다

    같은 평가 안의 실제 점수만 비교합니다. 양쪽 모두 오차 범위를 공개했다면, 그 범위 안의 작은 차이는 확정된 승패가 아니라 무승부에 가까운 것으로 봅니다. 평가를 받지 않은 모델이라면 그 대결은 존재하지 않습니다.

  3. 03

    투표 가중치를 먼저 정하고, 공통 견해를 모읍니다

    평가마다 미리 정한 예산을 배정합니다. 종합 순위에는 최소 3개 평가 기관, 3개 근거 계열, 3개 전문 분야의 커버리지가 필요합니다. 같은 출처를 두 번 가져오거나 표시용으로 나눠도 투표 가중치는 늘지 않습니다.

  4. 04

    모순이 가장 적은 전체 순서를 찾습니다

    평가끼리 의견이 엇갈릴 수 있습니다. 공통 근거의 순투표 가중치에 가장 적게 어긋나는 순서를 고른 뒤, 표시용 지수는 따로 계산합니다. 누락된 평가를 0점으로 채우지 않으며, 공개되지 않은 점수를 추측하지도 않습니다.

A BALANCED VIEW

폭넓은 테스트, 블라인드 인간 투표, 전문 평가를 함께 읽습니다.

폭넓은 평가가 30%, 블라인드 인간 투표가 10%, 전문 평가가 합계 60%를 차지합니다. 새로 추가된 평가는 공개된 설명으로 다른 평가와의 중복을 확인한 뒤 해당 몫에서 비중을 받습니다. 빈 몫을 다른 평가에 넘기지는 않습니다.

  • 종합 평가30%AA Index
  • 인간 블라인드 비교10%Arena Text · Arena 창작 블라인드 비교
  • 코딩과 디자인12%Arena WebDev · DeepSWE v1.1 · TapTap Maker · LiveBench · 코딩
  • 글쓰기와 표현9%LiveBench · 언어와 지시 · Creative Writing v3 · Longform Writing
  • 수학과 추론12%LiveBench · 추론 · FrontierMath v2 · Tiers 1–3 · FrontierMath v2 · Tier 4 · Chess Puzzles · Mystery Game Puzzles
  • 지식과 사실6%SimpleQA Verified · GPQA Diamond
  • 이미지 이해6%Arena Vision
  • 도구와 사무 작업6%APEX-Agents 1.1 · τ³-Banking
  • 중국어와 다국어6%AA 중국어/다국어
  • 업계 전문 과제3%Vals Finance Agent

코딩, 추론, 지식, 전문 업무는 각자 실제 평가에 기반하며 분야별 점수를 독립적으로 계산합니다. 이미지 이해와 다국어 근거는 종합 순위에 남습니다. 분야 이름을 바꿔도 같은 점수의 투표권이 늘지 않습니다. 종합 점수는 분야별 점수의 산술 평균이 아닙니다. 분야별 순위는 보통 유효한 평가가 2개 이상, 비교 가능한 모델이 5개 이상일 때 표시합니다. 지식 분야는 현재 Epoch의 평가 2개에 기반하며, 한 기관에 의존한다는 한계를 밝힙니다. 창작 글쓰기 선호도나 웹 개발 같은 근거는 계속 종합 순위에 반영되며, 첫 버전에는 미적 감각이나 글쓰기 순위를 따로 두지 않습니다.

자주 묻는 질문

근거가 적은 모델도 순위에 오르는 이유는 무엇인가요?
모델이 받은 평가의 수와 모델의 능력은 별개의 문제입니다. 종합 순위에는 최소 3개 기관과 여러 능력에 걸친 근거가 필요합니다. 대부분의 분야는 2개 기관을 요구하지만, 지식 분야는 같은 기관의 평가 2개를 쓰며 이를 명시합니다. 누락된 평가를 0점으로 치지는 않지만 일부 편향은 남을 수 있습니다.
‘근거 민감’은 무슨 뜻인가요?
평가 하나나 기관 하나를 빼고, 개별 가중치를 20% 올리거나 내리고, 오차 범위의 처리 방식을 바꿔 봅니다. 이런 조건에서 모델의 순위 범위가 3계단 이상 넓어지거나, 일부 시나리오에서 평가 대상에서 빠지거나, 완료되지 않은 비교가 있으면 ‘근거 민감’으로 표시합니다. 상세 페이지의 시나리오 범위는 95% 신뢰구간이 아니며, 알려지지 않은 점수는 반영하지 않습니다.
순위가 높은 모델은 일대일 비교에서 항상 이기나요?
꼭 그렇지는 않습니다. A가 B를, B가 C를, C가 A를 이길 수도 있습니다. 전체 순서는 이런 모순을 서로 저울질해 정하므로, 인접하지 않은 순위는 개별 비교와 다를 수 있습니다. 수학적으로 최적이라는 말은 현재 규칙에서 모순의 합이 가장 작다는 뜻이지, 모든 실제 용도에서의 능력 순서를 증명한다는 뜻은 아닙니다.
순위가 제가 써 본 느낌과 다른 이유는 무엇인가요?
순위는 공개 평가를 종합한 것으로, 근거가 뒷받침하는 전반적 능력을 반영합니다. 실제 사용 경험은 제품 버전, 추론 수준, 도구 설정, 긴 작업에서의 안정성에도 좌우됩니다. 저희는 지난 순위를 새로운 평가와 대조해 확인합니다. 점수가 비슷할 때 1위와 2위의 차이를 뚜렷한 우열로 읽어서는 안 됩니다.
새 모델은 언제 반영되나요?
클로데이트는 하루 네 번 원본 결과를 확인합니다. 새 모델의 점수는 평가 기관이 실제로 공개한 뒤에만 순위에 반영됩니다. 페이지 업데이트, 가격 변경, 저희가 데이터를 가져온 시각은 재평가로 보지 않습니다.
리더보드에 일시적으로 접속할 수 없으면 어떻게 되나요?
유효한 출처 스냅숏은 계속 사용합니다. 같은 평가 버전 안에서 일시적으로 빠진 행은 최근 7일 안에 검증된 경우에만 이어서 씁니다. 공개 리더보드에 남아 있는 유효한 점수는 오랫동안 바뀌지 않았다는 이유만으로 삭제하지 않습니다. 공식 철회, 정정, 버전 변경이 있으면 그에 따라 무효화하거나 교체하며, 과거 최고 점수는 유지하지 않습니다. 전체 계산이 실패하면 마지막으로 유효했던 순위를 원래 시각 그대로 유지합니다.
종합 지수와 전문 평가가 같은 점수를 이중으로 세지는 않나요?
공개된 문항 세트와 방법 설명으로 중복을 확인하고, 관련 출처의 합산 비중에 상한을 둡니다. 확인할 수 없는 상관관계는 한계로 남습니다. 현재 AA 지수는 30%를 차지합니다. Arena의 전체 텍스트와 창작 글쓰기 부문은 원래 인간 선호도 몫인 10%를 5%씩 나눠 가집니다. 투표가 겹치기 때문에 독립된 두 평가가 아니라 하나의 근거 계열로 다룹니다.
가격이나 속도가 순위에 영향을 주나요?
둘 다 영향을 주지 않습니다. 가격은 API 사용 비용의 참고용으로 100만 토큰당 미국 달러로 표시하며, 제조사 공식 출처를 기록합니다. 위안화 가격은 해당 계산 시점의 ECB 환율로 미국 달러로 환산합니다. 구독 요금은 반영하지 않습니다.
계산 세부 사항과 현재 버전 보기

방식 버전: 2026.09-public-consensus-v15. 가중 불완전 Kemeny 순위법을 사용합니다. 함께 평가된 모델 쌍마다 순지지도 M을 집계하고, 역순으로 놓인 순지지도의 합을 최소화하는 것을 목표로 합니다. 정수 최적화는 최적성 상태와 목적 함수의 상하한을 반환하며, 모든 검사를 통과한 결과만 공개합니다.

양쪽 모두 명확한 표준오차가 있으면 순지지도는 2Φ(점수 차 / 합성 표준오차) − 1이며, 공분산은 기본적으로 0으로 가정합니다. 그 밖의 비교는 원래 결과의 방향만 씁니다. 알 수 없는 오차는 오차 0과 같지 않습니다. 작은 차이를 서열로 다루는 점은 한계로 남습니다. 투표 가중치는 잠재적인 모델 쌍에 나뉘므로, 더 많은 모델을 다루는 출처일수록 더 많은 비교 몫을 씁니다. 명목 예산을 최종 순위에 대한 정확한 영향 비율로 읽을 수는 없습니다.

표시용 지수는 기본 순서를 유지합니다. 인접한 쌍마다 두 모델의 자리를 바꾸고 나머지의 재배열도 허용한 상태에서, 역방향으로 추가되는 최소 순지지도를 계산합니다. 이 음이 아닌 지지 차이를 기본 순서를 따라 누적하고, 고정된 기준 그룹을 기준으로 sigmoid를 써서 0~100에 대응시킵니다. 다른 순서도 똑같이 최적이면 간격은 0으로 두고, 지수는 소수점 첫째 자리까지 표시하며, 최소 점수 차를 인위적으로 더하지 않습니다. 지수가 거꾸로 순위를 바꾸는 일은 없습니다. 다만 등재 모델의 집합, 기준 모델, 근거의 변화는 지수에 영향을 주며, 점수 차가 실제 능력의 거리와 같지는 않습니다. 비용이 같은 해는 모델 ID 순으로 고정합니다. 정수 최적화에는 HiGHS 솔버(highs 1.15.3)를 쓰고, 오차 환산에 쓰는 정규분포 함수는 SciPy의 norm.cdf와 같은 알고리즘을 씁니다. 출처, 이용 조건, 평가 대상 자격, 매 계산의 입력값은 모두 버전과 함께 저장합니다. 공통 근거 네트워크로 연결되지 않은 모델 사이에서는 연결 성분을 넘나드는 거짓 정밀한 순서를 공개하지 않습니다.

고정 기준 모델: claude-fable-5, gpt-5-6-sol, kimi-k-3, qwen-3-8-max, gpt-5-4, claude-opus-4-8, claude-sonnet-5, grok-4-5, gemini-3-5-flash, glm-5-2, claude-sonnet-4-6, qwen-3-7-max, kimi-k-2-6, deepseek-v-4-pro, qwen-3-6-plus, minimax-m-3, gpt-5-4-mini, grok-4-3. 기준 그룹은 지수의 척도를 정할 뿐, 어느 제조사가 몇 위여야 하는지 정하지 않습니다. 서로 다른 분야의 지수는 직접 비교하지 않습니다.

전체 평가 근거 보기 →