모델 순위로 돌아가기
평가 출처
각 출처가 무엇을 측정하고, 어떻게 업데이트되며, 순위에 반영되는지 정리했습니다.
20이번 순위에 반영69검토한 출처와 개별 항목
순위 산정 방식 종합
17여러 능력을 아우르는 종합 테스트와 사람이 직접 하는 블라인드 비교입니다.
- 순위 반영AA Index여러 최신 벤치마크를 같은 환경에서 다시 실행해 종합 능력 점수를 산출합니다. 가격은 참고로만 다루며 종합 점수에는 포함하지 않습니다.Artificial Analysis가중치 30%
- 교차 참고LiveBench문제 세트를 계속 교체하고 정답은 자동으로 대조할 수 있습니다. 문제가 바뀌어도 모델이 버티는지를 봅니다.LiveBench
- 순위 반영Arena Text사람이 익명으로 답변을 두 개씩 비교해 어느 쪽을 읽고 싶은지 고릅니다. 객관식 문제로는 보이지 않는 전반적인 사용감을 보완합니다.LMArena가중치 5%
- 순위 반영Arena WebDev마찬가지로 사람이 블라인드로 비교하며, 웹 페이지의 사용성과 납품 가능한 완성도를 견줍니다.LMArena가중치 2.4%
- 순위 반영LiveBench · 언어와 지시Language + IF 두 항목 평균, 각 50%LiveBench가중치 3%
- 순위 반영Arena 창작 블라인드 비교소설, 시 같은 창작 표현을 사람이 블라인드로 비교해 작품이 독자를 끌어당기는지 봅니다.LMArena가중치 5%
- 관찰 중Design Arena · 시각 디자인웹 페이지, UI, 도표, 슬라이드 디자인 결과물을 사람이 블라인드로 비교합니다.Design Arena / Intelligence
- 관찰 중EQ-Bench 4 · 감정과 대인 이해여러 차례 오가는 대화에서 인물의 감정, 말하지 않은 요구, 서로 다른 소통 방식을 이해하는지 봅니다.EQ-Bench
- 관찰 중Short-Story · 단편 소설지정된 인물, 줄거리, 문체 조건을 자연스럽게 녹여 완결된 단편 소설을 씁니다.Lech Mazur
- 관찰 중ToneBench · 문체와 대본지정된 작가의 문체로 영상 대본을 쓰게 하고 도입, 구성, 표현, 낭독 리듬을 봅니다.Towards AI
- 관찰 중TubeLab · 영상 대본다양한 영상 채널용 대본을 써서 이야기 구성, 문체, 템포, 이해하기 쉬운 정도를 비교합니다.TubeLab
- 관찰 중NC Bench · 작가의 작업 흐름작가의 고쳐 쓰기, 이어 쓰기, 요약, 번역, 창작 아이디어 정리를 돕습니다.Novelcrafter
- 관찰 중OpenVibeEval · 웹 작품웹 작품, 접근성, 블라인드 선호를 함께 대조해 도구별 디자인 성능을 봅니다.OpenVibeEval
- 관찰 중SVGBench · 벡터 이미지 블라인드 비교같은 프롬프트로 생성한 SVG를 블라인드로 비교해 시각적 명료함과 도형 표현을 봅니다.SVGBench
- 관찰 중Rapidata SVG모델이 생성한 벡터 이미지를 사람이 비교해 시각적 선호를 직접 평가합니다.Rapidata
- 순위 반영Creative Writing v3단편 창작과 표현EQ-Bench가중치 3.6%
- 순위 반영Longform Writing장편 서사의 일관성과 완성도EQ-Bench가중치 2.4%
코딩
13코드 작성부터 저장소 수정까지, 모델이 소프트웨어를 완성해 낼 수 있는지 봅니다.
- 순위 반영DeepSWE v1.1통일된 코딩 어시스턴트 환경에서 저장소를 수정하고 버그를 고칩니다. 비교 대상은 코드를 쓰는 모델 자체입니다.DataCurve가중치 3.6%
- 순위 반영TapTap Maker실제 게임 엔진에서 동작하는 기능을 Lua로 작성합니다. 점수는 엔진 실행 결과로 판정하며, 다른 모델에게 채점을 맡기지 않습니다.TapTap Maker가중치 3.6%
- 순위 반영LiveBench · 코딩대규모 실제 운영 코드베이스의 실제 버그를 고치는 Coding 범주 결과.LiveBench가중치 2.4%
- 관찰 중Hyper-τ-bench업무 자료를 바탕으로 실제로 작동하는 고객 서비스 에이전트를 만들고 테스트합니다.Sierra
- 관찰 중SWE-rebench실제 저장소의 이슈를 꾸준히 수집해 여러 프로그래밍 언어에서의 소프트웨어 수정 능력을 비교합니다.Nebius
- 관찰 중LHTB오랜 시간 터미널을 계속 사용하며 복잡한 엔지니어링·도구 과제를 해냅니다.Tencent HY, Lehigh 외
- 참고용Terminal-Bench 4모델과 여러 Agent를 조합한 터미널 과제의 원본 성적을 남겨 교차 확인에 씁니다.Harbor / Terminal-Bench
- 참고용MirrorCode장시간 소프트웨어 재현Epoch AI
- 관찰 중Code Migration소프트웨어 마이그레이션과 인터페이스 개편Vals AI
- 관찰 중ProgramBench완전한 프로그램의 구현과 납품Vals AI
- 관찰 중FrontierCode실제 저장소 과제의 품질, 테스트, 변경 범위Cognition
- 관찰 중FrontierSWE v2장시간 실행되는 엔지니어링 구현과 연구 과제Proximal Labs
- 관찰 중WeirdML처음 보는 데이터로 머신러닝 기법 구현WeirdML
추론
11수학, 논리, 처음 보는 규칙을 통해 모델이 새로운 문제를 끝까지 생각해 낼 수 있는지 봅니다.
- 순위 반영LiveBench · 추론최신 세대 Reasoning 카테고리 성적LiveBench가중치 4.2%
- 관찰 중SimpleBench일상적인 상식·논리 문제에서 문제에 담긴 실제 제약을 모델이 알아차리는지 검증합니다.SimpleBench
- 순위 반영FrontierMath v2 · Tiers 1–3연구 수준의 수학적 추론Epoch AI가중치 3.6%
- 순위 반영FrontierMath v2 · Tier 4더 어려운 수학 연구 문제Epoch AI가중치 1.2%
- 순위 반영Chess Puzzles텍스트로 된 판면에서 올바른 수 찾기Epoch AI가중치 1.8%
- 순위 반영Mystery Game Puzzles처음 보는 규칙에서 올바른 행동을 이끌어 내기Epoch AI가중치 1.2%
- 관찰 중MathArena · ArXivLeanLean으로 수학 증명 검증MathArena / ETH Zurich
- 관찰 중MathArena · BrokenArXiv수학 증명의 오류를 찾아 고치기MathArena / ETH Zurich
- 관찰 중MathArena · ArXivMath최근 수학 논문으로 만든 새 문제MathArena / ETH Zurich
- 관찰 중ARC-AGI-2처음 보는 규칙에서 배우고 일반화하기ARC Prize
- 관찰 중ARC-AGI-3처음 보는 규칙에서 배우고 일반화하기ARC Prize
지식
5사실 관련 질의응답과 대학원 수준의 과학 지식으로 지식이 얼마나 탄탄한지, 답이 얼마나 정확한지 봅니다.
- 관찰 중FACTS Parametric검색 도구 없이 세계에 관한 사실 질문에 답하게 해 모델 자체 지식의 정확성을 검증합니다.Google DeepMind / Kaggle
- 관찰 중Humanity’s Last Exam여러 분야에 걸친 고난도 학술 지식과 추론CAIS / Scale AI
- 관찰 중BullshitBench · 잘못된 전제질문에 담긴 잘못된 전제를 알아차리는지, 오류에 편승해 지어낸 이야기를 이어 가지 않는지를 봅니다.Peter Gostev / BullshitBench
- 순위 반영SimpleQA Verified짧은 질문에 대한 사실 정확도Epoch AI가중치 4%
- 순위 반영GPQA Diamond대학원 수준의 물리, 화학, 생물 지식Epoch AI가중치 2%
전문 업무
19금융 분석, 법률 상담, 은행 업무를 통해 전문 과제를 끝까지 해낼 수 있는지 봅니다.
- 순위 반영APEX-Agents 1.1투자은행, 컨설팅, 법률 분야의 긴 과제에서 모델이 어시스턴트로서 일련의 업무를 끝까지 해낼 수 있는지 봅니다.Mercor가중치 4%
- 순위 반영Vals Finance Agent금융 애널리스트의 일상 업무 과제로, 리서치 보고서 작성이나 모델 구축 같은 일의 완성도를 봅니다.Vals AI가중치 3%
- 관찰 중OfficeQA Pro방대한 실제 재무 문서에서 검색하고 계산해 질문에 답합니다.Databricks
- 관찰 중Harvey Legal Agent Benchmark법률 자료를 처리해 Word, Excel, 슬라이드 등 검토 가능한 파일을 납품합니다.Vals AI / Harvey
- 관찰 중MCP Atlas실제 MCP 서비스를 통해 자료를 검색하고 문서와 데이터베이스를 조작해, 여러 소프트웨어에 걸친 과제를 완료합니다.Scale AI
- 관찰 중FinanceBenchmark금융 가격 산정, 자본 계산, 리스크 관리 과제를 수행하고 수치와 코드 실행 결과로 검증합니다.FinanceBenchmark
- 관찰 중PRBench · Legal실제 법률 업무의 복잡한 질문에 답하게 해 전문적 판단과 논증의 질을 검증합니다.Scale AI
- 관찰 중PRBench · Finance실제 금융 의사결정에 관한 질문에 답하며 전문적 판단, 추론, 위험 설명을 검증합니다.Scale AI
- 관찰 중SpreadsheetBench 2재무 모델링, 워크북 수정, 데이터 시각화까지 스프레드시트 업무를 처음부터 끝까지 처리합니다.SpreadsheetBench / Renmin University / AfterQuery
- 관찰 중Vending-Bench 2모의 매장을 1년 동안 운영하며 매입, 협상, 재고, 가격 책정을 해냅니다.Andon Labs
- 결과 대기τ³-Banking통일된 도구 환경에서 은행 업무를 처리하며 규칙 이해, 고객 소통, 과제 완료를 검증합니다.Sierra가중치 2%
- 참고용EBR-bench긴 과제에서 새 규칙을 배우고 기억을 활용하기Epoch AI
- 관찰 중Excel · EMB표 편집과 Excel 업무Vals AI
- 관찰 중Legal Research법률 조사와 논증Vals AI
- 관찰 중TaxAgentBench세무 분야의 전문 문제Vals AI
- 관찰 중MedScribe임상 기록 정리와 작성Vals AI
- 관찰 중BioMysteryBench생물학 연구 추론Vals AI
- 관찰 중AutomationBench업무 소프트웨어를 넘나드는 자동화 작업Zapier
- 관찰 중Terminal-Bench Science터미널에서 연구 과제 완료하기Harbor
시각 이해
2이미지 이해 증거는 계속 종합 순위에 남깁니다. 이미지를 읽어 내는 능력과 디자인의 아름다움은 별개의 능력입니다.
중국어와 다국어
2언어 기초를 보완하는 근거이며, 영어 글쓰기 실력을 중국어 능력으로 보지 않습니다.
‘관찰 중’은 데이터, 실행 조건, 이용 조건을 아직 확인하고 있다는 뜻이며, 종합 순위와 분야별 순위에서 제외됩니다. 같은 평가를 중복 수집하거나 나눠 표시해도 가중치는 늘지 않습니다. 서로 다른 평가 사이의 문항 중복도 계속 확인합니다.