구글은 Gemini 4 세대의 첫 모델인 Gemini 4 Argon을 일반에 공개했으며, Google AI Pro 및 Ultra 구독자가 Gemini 앱에서 사용할 수 있게 됐다. Artificial Analysis Intelligence Index에서는 53점으로 GPT-6 Astra와 나란히 올랐고, API 도입 가격은 입력 100만 토큰당 $2, 출력 $10이다.
선정 이유: Google 자사 비교표와 제3자 Intelligence Index를 나란히 제시하고 가격도 경쟁사와 대비하고 있어, 성능과 비용상의 위치를 파악하기 쉽다.
OvisOCR3는 문서 분석, 일반 OCR, 핵심 정보 추출, 문서 도표 캡션 생성, 페이지를 넘나드는 표 재구성을 단일 모델로 수행하는 0.8B 시각언어 모델이다. OmniDocBench v1.6에서 종합 점수 96.74를 기록했으며, OCRBench v2에서는 영어 65.9, 중국어 61.3으로 1위를 차지했다. 5개의 4B 교사 모델로부터의 다중 교사 증류와 이후의 강화학습으로 학습되었다.
HABIT-Bench는 식사·금융·소프트웨어·여행 4개 분야에서 수백 세션에 걸친 합성 사용자 이력으로부터 에이전트가 습관을 추정할 수 있는지 평가하는 벤치마크다. Qwen3-235B-A22B와 GLM-5.3-Flash에 8가지 메모리 기법을 적용해 평가한 결과, 가장 우수한 구성에서도 4지선다 과제의 macro accuracy는 33.61%에 그쳐 무작위 추측 수준인 25%를 크게 넘지 못했다. 주석이 달린 증거를 직접 제공했을 때도 큰 오류가 남아, 관련 이력을 찾아내는 것만으로는 충분하지 않다는 점이 드러났다.
가상 세계의 체화형 에이전트는 지속적 사전학습에서 데이터량, 다양성, 모델 규모를 늘릴수록 학습 성능이 향상되지만, 멀리 떨어진 세계로의 일반화에는 한계가 있는 것으로 나타났다. 검증에는 0.8B부터 27B까지 4가지 모델 크기, 50시간부터 1,600시간까지의 데이터량, Minecraft만 사용한 데이터부터 다양한 멀티월드까지 5종의 혼합 데이터로 구성된 120개의 학습 설정이 활용됐다. 3D 세계에서는 Minecraft 전용 모델 및 프런티어 모델과 경쟁했으며, 실시간 설정에서 가장 높은 성능을 보였다.
StreamEval은 인터랙티브 스트리밍 동영상 생성 모델을 5개 과제로 평가하는 통합 벤치마크다. 300개의 대본 기반 테스트 케이스(15~300초)로 37개 모델을 평가한 결과, 시각적 품질이 높아도 요청을 확실하게 수행하는 것과 상태의 일관성을 유지하는 것은 여전히 과제인 것으로 나타났다. 요청 수행 최고 점수는 아바타 연기 모델 7종의 Following에서 36.90, 텍스트 조건부 월드 생성의 Following에서 25.93, 참조 편집 모델 3종의 Edit Success에서 15.00에 그쳤다.
Code2Video-Compass는 텍스트·이미지·동영상을 입력으로 하는 코드 기반 동영상 생성을 평가하는 범용 벤치마크로, T2V, I2V, V2V 세 가지 설정을 지원한다. 10개 카테고리, 24개 서브타입, 3가지 복잡성 차원으로 구성된 2,104개의 과제를 포함하며, 객관 지표 12종과 주관 지표 5종으로 평가한다. 9개 계열의 독점 및 오픈 웨이트 MLLM 15종을 평가한 결과, 최상위 모델도 고품질 동영상을 안정적으로 생성하기는 어려웠으며, 구성·동적 애니메이션·상태 의존적 복잡성이 높아질수록 성능이 떨어지는 경향이 나타났다.
Microsoft AI의 진단 오케스트레이터 MAI-DxO는 NEJM 증례 기록을 이용한 평가에서 최대 85%의 증례를 올바르게 진단했으며, 경험 많은 의사 그룹의 4배 이상의 비율에 이르렀다. 의사보다 비용 대비 효과도 높다고 한다. 평가에는 NEJM의 최신 304개 증례를 단계적인 진단 과정으로 변환한 Sequential Diagnosis Benchmark(SD Bench)가 사용되었으며, 검사에는 가상의 비용이 설정되었다. 다만 보다 일반적인 증상에서의 성능은 추가 검증이 필요하다고 한다.
SpatialScout는 VLM 에이전트가 능동적으로 객체 단위의 3D 지도를 구축할 수 있는지 평가하는 벤치마크이다. 80개의 실내 장면과 3,140개의 대상 객체를 사용하며, 에이전트가 카메라를 조작해 각 장면을 탐색하고 객체의 중심 좌표를 추정한다. 가장 높은 성능을 보인 Claude Opus 5.5의 평균 오버랩 점수는 41.71%에 그쳤고, IoU가 0.9를 넘은 대상은 3.25%에 불과했다.
OpenDS-World는 실제 웹에서 다단계 심층 검색을 수행하는 에이전트를 평가하는 벤치마크로, 200개의 과제를 포함한다. 12개의 프런티어 모델을 통합 도구 환경에서 평가한 결과 최고 정확도는 39.0%로, 1,000회의 독립적인 시도에서 나온 인간의 정확도 21.1%를 웃돌았다. 도구 활용, 검색 비용, 실패 후 회복에 대한 분석에서는 모델마다 연구 전략이 크게 달랐으며, 도구 연계와 장기적인 검색 관리에는 여전히 과제가 남아 있음이 드러났다.
Perplexity@perplexity_aiAI 점수3939Gemini 4 Argon이 WANDR에서 신기록을 세웠다. 현재 Perplexity에서 Pro 및 Max 구독자를 대상으로 제공되고 있다.
Mistral AI@MistralAIAI 점수2121
AI 에이전트가 평가 벤치마크를 자율적으로 설계할 수 있는지 측정하는 'EvalResearchBench(ERB)'가 제안되었다. 최고의 평가기는 후보 모델 쌍 가운데 약 75%의 순위를 목표 벤치마크와 일치시켰지만, 목표 벤치마크끼리의 불일치로 정해진 상한인 91%에는 도달하지 못했다. 9개의 researcher, 13개의 후보 모델, 14개의 목표 벤치마크로 비교한 결과, 사람이 설계한 공개 태스크 샘플이 여전히 강력한 베이스라인이었으며, 모든 지표에서 1위를 차지한 researcher는 없었다.
OR-License는 LLM 에이전트가 고객의 원자료로부터 실무 수준의 운영 연구(OR) 과제를 풀 수 있는지를 평가하는 벤치마크다. 11개의 최첨단 LLM을 비교한 결과, 일부는 조건부 목적 품질에서 전문가 해법을 넘어섰으나, 실행 가능성을 고려한 품질(DAQ)에서는 어느 모델도 전문가 수준에 도달하지 못했다. 최고 성능을 보인 Claude Code 구성은 엄밀한 실행 가능성 88.39%, DAQ 0.87(전문가 기준 1)을 기록했다.
MIST는 장면 설정과 지시된 변화의 실행을 나누어 평가하는 방법으로, 모델이 장면을 설정하더라도 지시된 변화를 실행하지 않는 점이 병목으로 나타났다고 밝혔다. 제안 기법인 M3-Agent는 입력 지시의 세부 사항을 재귀적으로 수정하며, 베이스라인과 비교해 MIST reveal 점수를 3배 이상 끌어올렸다. 벤치마크에서는 WRBench의 T 점수가 26.1%, MBench-T의 U 점수가 52.7% 향상되었다.
HexaShell은 시각 정보와 자체 제작 도구로 양팔 로봇을 제어하는 코딩 에이전트로, RoboDojo의 전체 42개 과제에서 성공률 39.7%, 진행 점수 48.0을 기록해 해당 벤치마크의 새로운 SOTA를 달성했다고 밝혔다. 성능의 한계는 추론이 아니라 접촉에 있었다. 미는 동작은 92.5%, 메모리 계열 과제는 65.0%였지만, 좁은 틈에 끼우는 작업은 8.3%에 그쳤다. 사용 모델은 Codex와 GPT-6-Astra(medium reasoning effort)이며, 제작한 도구는 오픈소스로 공개된다.
RAP는 기계학습 분야 주요 학회에서 2022년부터 2026년까지 발표된 논문과 포스터의 검증된 쌍 25K 이상을 담은, 논문으로부터 포스터를 생성하기 위한 데이터셋 및 벤치마크이다. 각 포스터는 타입이 지정되고 교체 가능한 슬롯을 가진 HTML/CSS로 자동 변환되며, 원본 포스터와의 렌더링 비교를 통해 검증할 수 있다. 학습이 필요 없는 다중 에이전트 기법 PosterRAG는 기존 포스터를 검색하여 레이아웃과 스타일을 바꾸지 않고 슬롯을 채운다. 같은 데이터로 SFT와 RL을 통해 학습한 전용 모델도 함께 제시되었다.
VLA-Δ는 현재와 미래 관측 사이의 물리적 상태 전이를 명시적인 학습 목표로 삼아 로봇 제어를 개선하는 범용 프레임워크다. LIBERO와 RoboTwin 벤치마크에서 최첨단 기법에 필적하는 성능을 보였으며, 실기 실험에서는 π0.5를 웃돌았다. 추론 시에는 현재 관측으로부터 행동을 직접 생성하며, 추가적인 추론 비용은 발생하지 않는다고 한다.
OmniVerifier-C1은 복잡한 멀티모달 규칙을 세부 요소로 나누어 점수를 매기는 생성형 시각 검증기다. 이진 판정보다 연속적인 비평 신호를 얻을 수 있으며, 텍스트-이미지 생성에서 이진 검증기를 크게 웃도는 성능을 보였다고 보고됐다. 또한 정답 이미지가 있는 경우에는 점 단위 검증보다 쌍별(pairwise) 검증이 더 정확한 비평을 제공한다고 밝혔으며, Maze, Sudoku 등 구조화된 세계 모델링 과제에서 효과를 입증했다고 전했다.
PremiseCheck는 사람 또는 AI가 작성한 논문 심사 코멘트를 명시적인 전제로 분해하고, 결정 모델로 논문과 대조해 사실 오류를 검증하는 방법이다. 각 코멘트를 단독으로 검증했을 때 3개 분야 모두에서 GPT-5.5에 필적하는 정확도를 약 절반의 비용으로 달성했다. NLP 분야의 심사에서는 비용이 4분의 1, 지연 시간은 절반 미만이 되었다.
GPT-6-Astra는 12개 벤치마크에서 in-context learning(ICL)을 활용해 높은 성능을 보였으나, 실기 배포에서는 데모 수집 비용, 실행 시간, 실용적인 체화 지능 측면의 과제가 남아 있다는 보고서다. 고수준 추론을 담당하는 'System 2'로 GPT-6-Astra를, 저수준 제어를 담당하는 'System 1'로 π0.5를 결합한 클로즈드 루프 구성은 비용은 높지만 효과적인 것으로 평가된다. 보고서는 체화 능력의 임계값은 대체로 넘어섰으나, 실용적인 체화 지능의 임계값에는 아직 도달하지 못했다고 결론지었다.
AI 에이전트는 물리 연구에서 국소적인 과학적 성과를 내지만 연구 과제를 완전히 해결하는 단계에는 이르지 못한다는 점을 전문가가 검증한 50개 과제 벤치마크 「PhysClosureBench」가 보여줬다고 밝혔다. 평균 Atomic Score가 가장 높았던 Claude-Opus-5는 6.29/10을 기록했으나, RC4에 도달한 시행은 전체의 32.7%에 그쳤다. Atomic Score가 8/10 이상인 시행에서도 36.2%는 RC4에 도달하지 못해, 국소적 성과와 연구 완결 사이에 지속적인 격차가 있음이 드러났다.
FDE-Gym은 요구사항이 모호하고 제시되지 않은 제약을 찾아내야 하는 고객사 도입 과제에서 AI 에이전트를 평가하는 벤치마크다. 18개 업종, 20개 고객 시나리오에서 수집한 95건의 엔드투엔드 과제를 담고 있으며, 7개 회사의 13가지 구성을 평가했다. 그 결과 가장 좋은 구성에서도 평균 점수는 0.56에 그쳤고, 95건 중 14건만 해결(점수 0.8 이상이면서 사고 없음)했다. 제시되지 않은 제약의 발견이 주된 병목으로 나타났으며, 필요한 정보를 모두 얻은 23건에서도 0.8 이상에 도달한 것은 10건뿐이었다.
MIT의 Neil Thompson 등의 연구에 따르면, 확률론, 통계학 이론, 경제 이론, 고에너지 이론, 중력·우주론, 양자물리학 등 이론 문제에서 최고 성능 AI 모델의 정답률은 2024년 중반 약 2%에서 2026년 중반 약 35%로 상승했다. 연구진은 o1, o3, GPT-5부터 GPT-5.5까지의 OpenAI 모델을 학습 데이터 마감 이후에 발표된 논문의 문제로 검증했으며, 인터넷 연결도 차단했다. Thompson은 수년 안에 많은 이론 문제가 AI에 의해 크게 달라질 것으로 보고 있다.
BlenderWorld는 Blender에서 수행하는 실용적인 3D 제작 과제에 대해 멀티모달 언어 모델을 평가하는 벤치마크다. 건축, 제품, 자연 환경, 과학 시각화 분야에서 223개 과제를 마련했으며, 텍스트, 이미지, 동영상, 구조화된 사양을 입력으로 받는다. 13개의 최신 모델을 평가한 결과 GPT-6-Astra가 종합 점수 79.9점으로 1위를 차지했으며, Opus-5(73.0점), GPT-5.6-Sol(67.7점)이 뒤를 이었다. 다만 3D 공간의 일관성과 정확한 구조 재현에는 여전히 큰 과제가 남아 있다.
RoTA-Bench는 2D 관측에서 정밀한 3D 회전 제어로 변환하는 Vision-language model의 능력을 대화형 3D-2D 투영 정렬 과제로 평가하는 벤치마크다. GPT-5.6-Sol의 성공률은 과제의 17%에 그쳐, 학부생 20명이 테스트 집합을 4회 완료했을 때의 성공률 100%와 큰 차이가 난다. 모델은 사람에 비해 같은 상태에서 이미지 겹침은 개선하면서 자세 정렬은 악화시키는 비율이 높았고(19.4% 대 10.9%), 조작 이력을 제외하면 행동의 96.8%가 30도 단위의 거친 단계가 되어 성공률도 크게 떨어진다.
BizBench는 결제 기업의 실제 업무 절차를 바탕으로, 장기간 과업을 수행하는 에이전트의 중간 실행이 타당한지 평가하는 멀티턴 방식의 벤치마크다. 프런티어 모델도 목표를 부분적으로 달성하는 데 비해 제약 위반이 많아, Claude Opus 5와 GPT-6 Sol의 엄격한 성공률은 각각 64.0%, 61.3%에 그쳤다. Qwen3.8-27B는 목표 달성률이 42.0%이지만 엄격한 성공률은 32.7%로 떨어져, 결과만 평가하면 무효한 실행이 드러나지 않음을 보여준다.
다단계 세계 상태 예측을 평가하는 벤치마크 'WorldCast'가 제안됐다. 8개 카테고리 320개 사례로 12개 모델을 평가한 결과, GPT-Image-2.5 System은 72.8점, Nano Banana Pro는 42.8점, 최고 성능의 오픈소스 모델은 20.1점을 받았다. 강력한 생성 모델은 기반 언어 모델의 능력도 효과적으로 활용하고 있다.
Meta Superintelligence Labs(MSL)가 2세대 모델군인 Muse Wonder와 Muse Wonder Full을 발표했다. Artificial Analysis의 Intelligence Index v4.3에서 Full(max)은 56점, Wonder(max)는 52점을 기록해 Muse Spark 1.3(max)의 48점을 웃돌았다. Wonder는 입력 $4, 출력 $20(100만 토큰당), 1M 컨텍스트로 제공되며, Full은 가격이 공개되지 않았고 Muse Code 구독자에게만 제공된다.
선정 이유: 독립 평가, Meta 자체 주장, 실무자 평가가 구분되어 정리되어 있어 Muse Wonder의 위치를 비교하며 읽기 좋다.
연구에서는 데이터가 제한된 저자원 언어의 사전학습에서 고자원 언어의 데이터를 섞는 방법이 하이퍼파라미터 조정보다 성능을 크게 개선한다는 결과가 나왔다고 밝혔다. 150M에서 1.43B 파라미터까지 4개 규모에서 아랍어에 영어 데이터를 섞은 약 1000회의 사전학습을 비교했으며, 검증 손실과 하위 작업 정확도 모두에서 혼합 방식이 우위를 보였다. 혼합의 효과는 목적 언어 고유 데이터 2~3배분(검증 손실), 2~13배분(하위 작업 정확도)에 해당하며, 검증 손실만으로는 혼합의 가치가 과소평가된다.
Into the Unknown는 논문과 연구 방향을 주고 AI 에이전트가 후속 논문을 쓰게 하는 벤치마크다. 9개의 최신 에이전트가 작성한 135편의 제출물 가운데 모든 조건을 충족한 것은 없었고, 114편이 정합성 검사에서 실패했다. 코드와 데이터는 공개되어 있다.
Elorian과 Scale AI가 시각적 장면이 암시하는 정보를 추론하는 능력을 측정하는 벤치마크 "Humanity's Sixth Sense"를 공개했다. 인간의 pass@1 점수는 93.1인 반면, 최고 성능 모델인 GPT 6 Astra는 53.6, GLM-5.3-flash는 26.8, Kimi K3는 25.5를 기록했다. 이 밖에도 우주에서의 AI 우위를 논한 AI Frontiers 기사와 AI의 연구 감각을 측정하는 TasteVal을 함께 다룬다.
기계번역(MT) 품질 평가에서 LLM과 인간 어노테이터의 일치도를 MQM과 ESA 두 가지 평가 방식으로 검증한 연구다. 70개 언어쌍의 장문 테스트 세트와 WMT23·WMT25 데이터를 활용한 결과, LLM의 일치도가 인간끼리의 일치도를 웃도는 경우도 있었으나 많은 설정에서는 양쪽 모두 신뢰성이 충분하지 않았다. 인간은 세분화된 MQM과 저자원 언어쌍에서, LLM은 경미한 오류와 오류 구간(error span) 어노테이션에서 과제를 안고 있는 것으로도 나타났다.
LiveMACEBench는 실시간 금융 시장에서 지속형 LLM 에이전트를 평가하는, 의사결정 트레이스를 활용한 과정 중심 벤치마크다. 5개 프런티어 LLM을 30일간 평가한 결과, 실현 수익이 능력별 측정치와 어긋나는 '성과와 능력의 격차'가 나타났다. 의사결정 트레이스에 기반한 진단에서는 능력마다 서로 다른 병목이 드러났다.
GitHub가 AI 코드 리뷰를 위한 오프라인 벤치마크 「ReviewBench」를 공개했으며, 현재 이용할 수 있다. GitHub의 PR 1억 3,900만 건(103.9M)의 분포를 바탕으로 19개 언어, 공개 PR 219건으로 구성되며, 사람 리뷰어, 프론티어 LLM, 정적 분석으로 만든 골든 세트를 사용한다. 시니어 엔지니어가 독립적으로 검증한 결과 96.6%의 일치율을 보였으며, Copilot code review의 오프라인 평가 역시 실제 운영 실험의 방향을 더 쉽게 예측할 수 있게 되었다.
Microsoft와 Hugging Face는 AI 에이전트가 남기는 백엔드 상태와 부작용으로 채점하는 벤치마크 ThinkingBox를 공개했다. 507개의 업무 워크플로를 각각 20회씩 실행했으며, Claude Opus 5.5가 pass@1 67.16%로 최상위를 기록했다. OpenEnv를 통해 자신의 모델도 평가할 수 있다.
선정 이유: 최종 응답이 아니라 DB 상태를 기준으로 채점하고, 20회 반복에 걸친 일관성과 비용까지 수치로 비교했다는 점에서 에이전트 평가 설계를 고민할 때 참고할 만한 자료다.
Hugging Face가 다국어 및 보이스 클로닝을 지원하는 오픈소스 TTS 모델을 객관적 지표로 평가하는 「Open TTS Leaderboard」를 공개했다. 인식 정확도를 나타내는 WER/CER, 추론 속도를 나타내는 RTFx/TTFA, 화자 유사도를 나타내는 SIM을 활용하며, 아레나형 평가에 비해 모델 평가 기간을 수 주에서 수 시간으로 단축할 수 있다고 밝혔다. 사람의 선호도를 측정하는 평가는 「Listen」 탭의 투표에 맡긴다.
Hugging Face는 MCP 에이전트의 답변을 출처 단위로 검증하는 후처리 레이어 ProvenanceGuard를 제안했다. 근거 전체로는 뒷받침되지만 답변이 지목한 출처가 아닌 다른 출처에만 존재하는 주장, 이른바 출처 오인을 탐지한다. 의료 에이전트의 281건 트레이스로 평가한 결과, 전문가가 통과시키면 안 된다고 본 139건 중 138건을 탐지했으며, 뒷받침된다고 판단된 67건은 재확인이나 수정 대상으로 넘겼다.
Qwen@Alibaba_QwenAI 점수5151
OpenAI는 실제 정신건강 관련 대화에서 AI 응답의 유용성과 안전성을 평가하기 위한 벤치마크 「MentalHealthBench」를 발표했다. 전문가의 지식을 반영한 벤치마크다.
Qwen@Alibaba_QwenAI 점수3131Qwen-Image-2.1 by @Alibaba_Qwen just landed as the #1 open source model in the Image Edit Arena and Text-to-Image Arena! With 1367 pts in the Image Edit Arena, Qwen-Image-2.1 took the #1 spot among open. It landed #16 overall, just 3 pts from GPT-Image-1.5-high-fidelity at #15. See the leaderboard for the Text-to-Image arena below. Congrats to the @Alibaba_Qwen team on this contribution to the open source ecosystem!