어떤 모델이 정말 뛰어난가. 벤치마크 결과, 평가 방법을 둘러싼 논쟁, 리더보드 변동.
Microsoft AI가 AI 진단 시스템 MAI-DxO와 순차 진단 벤치마크 SDBench에 관한 논문을 Science에 발표했다. NEJM의 복잡한 증례에서 MAI-DxO의 진단 정확도는 83%로, 외부 자료가 없는 경우 22%, 있는 경우 36%였던 의사들을 웃돌았다. MIMIC-IV-ED의 응급 증례에서는 80% 대 47%였으며, SDBench는 일부 NEJM 증례를 대상으로 오픈소스로 공개된다.
선정 이유: 순차적 진단을 측정하는 SDBench와 여러 가상 의사가 토론하는 MAI-DxO의 설계, 그리고 정확도와 비용 양면의 비교가 제시되어 있어 의료 AI 평가의 사고방식을 파악하기 쉽다.
구글은 Gemini 4 세대의 첫 모델인 Gemini 4 Argon을 일반에 공개했으며, Google AI Pro 및 Ultra 구독자가 Gemini 앱에서 사용할 수 있게 됐다. Artificial Analysis Intelligence Index에서는 53점으로 GPT-6 Astra와 나란히 올랐고, API 도입 가격은 입력 100만 토큰당 $2, 출력 $10이다.
선정 이유: Google 자사 비교표와 제3자 Intelligence Index를 나란히 제시하고 가격도 경쟁사와 대비하고 있어, 성능과 비용상의 위치를 파악하기 쉽다.
Meta Superintelligence Labs(MSL)가 2세대 모델군인 Muse Wonder와 Muse Wonder Full을 발표했다. Artificial Analysis의 Intelligence Index v4.3에서 Full(max)은 56점, Wonder(max)는 52점을 기록해 Muse Spark 1.3(max)의 48점을 웃돌았다. Wonder는 입력 $4, 출력 $20(100만 토큰당), 1M 컨텍스트로 제공되며, Full은 가격이 공개되지 않았고 Muse Code 구독자에게만 제공된다.
선정 이유: 독립 평가, Meta 자체 주장, 실무자 평가가 구분되어 정리되어 있어 Muse Wonder의 위치를 비교하며 읽기 좋다.
Microsoft와 Hugging Face는 AI 에이전트가 남기는 백엔드 상태와 부작용으로 채점하는 벤치마크 ThinkingBox를 공개했다. 507개의 업무 워크플로를 각각 20회씩 실행했으며, Claude Opus 5.5가 pass@1 67.16%로 최상위를 기록했다. OpenEnv를 통해 자신의 모델도 평가할 수 있다.
선정 이유: 최종 응답이 아니라 DB 상태를 기준으로 채점하고, 20회 반복에 걸친 일관성과 비용까지 수치로 비교했다는 점에서 에이전트 평가 설계를 고민할 때 참고할 만한 자료다.
Ethan Mollick은 GPT-5.5에 조기 접근해 AI의 빠른 개선이 이어지고 있다고 평가했다. GPT-5.5 Pro는 3D 항구 도시 시뮬레이션에서 도시의 진화를 실제로 모델링할 수 있었던 유일한 모델이었으며, 소요 시간도 GPT-5.4 Pro의 33분에서 20분으로 줄었다. 한편 장편 픽션의 품질 등 능력의 굴곡은 여전히 남아 있다.
선정 이유: early access 체험기로 실제 과제를 돌려본 기록이며, 모델·앱·하네스 세 층위에서 발전을 파악하는 관점과 남은 약점을 구체적 사례로 확인할 수 있다.