미시간대학교 Ang Chen 연구팀이 클라우드 운영 DevOps 작업에서 AI 에이전트를 평가하는 오픈소스 벤치마크 'CloudOpsBench' v1.0을 공개했으며, 최상위 모델도 다수의 작업에서 실패한다고 보고했다. 가장 우수한 Claude Fable 5.1은 AWS 과제의 60%를 해결했고, GPT-6 Astra는 53%였다. 실패의 약 80%는 작업 범위의 잘못된 판단, 관련 서비스 확인 누락, 조기 종료 등 추론상의 문제에서 비롯됐으며, 잘못된 조작은 약 20%였다.
Hugging Face@huggingfaceAI 점수4545Introducing RoboColosseum An open robot eval initiative by @huggingface @BitRobotNetwork @eaic_sg @DJiafei Access: - 100+ robots (@UnitreeRobotics G1s, @LeRobotHF SO-101s, YAMs, Franka and more) - 140+ in-the-wild scenes - Open rollout data - 10,000 FREE eval hrs Thread ↓
Route Anything은 범용 AI 시스템에서 전문 모델과 정책을 동적으로 선택·연계하는 라우팅을 검증하고, 입력별 오라클 라우팅이 최적의 고정 후보를 5.4포인트 웃돈다는 것을 보였다. 학습형 라우터는 16개 벤치마크에서 최적의 고정 후보를 0.3포인트 웃돌았으며, 참조 모델 대비 평균 8.82배의 효율 향상을 나타냈다.
ToolSpace는 실행 트레이스에서 의존 관계를 추출해 도구 중심의 환경과 과업을 합성하는 프레임워크다. 7개의 장기 도구 활용 벤치마크에서 Qwen3.6-35B-A3B의 평균 점수는 23.0에서 41.0으로 올랐고(RL 병용 시 43.2), GLM-5.2는 44.6에서 56.6으로 향상되어 Claude Opus 5와 같은 수준에 도달했다.
YANAMI는 다턴에 걸친 대화 상태 추적을 평가하기 위한 대규모 멀티모달 대화 데이터셋 'YANAMI-400K'(대화 40만 건, 이미지 200만 장 이상, 발화 260만 턴)와 벤치마크 'YANAMI-Bench'다.
Collinear AI의 사이버보안 평가 벤치마크 「CWE-bench v2」는 실제 오픈소스 리포지토리에서 기존 기능을 깨뜨리지 않고 보안 취약점을 수정하는 과제를 91종의 CWE에 걸쳐 100건 공개했다고 밝혔다.
Hugging Face가 장문 문서 안 개체(엔티티)의 상태 변화를 언어 모델이 어디까지 추적할 수 있는지 측정하는 벤치마크 'StateBench'를 공개했다. 난이도는 4단계로 나뉘며, 변수에 값을 대입하는 방식에 따라 갱신 연산의 복잡도가 달라진다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, Luna 같은 프런티어 모델은 입력이 길어지면 까다로운 형식의 상태 추적에서 무너졌다. 반면 순환(recurrent)형과 하이브리드형 모델은 Transformer보다 더 먼 길이까지 일반화할 수 있었다고 한다.
Simon Willison은 노트북에서 구동한 Qwen 3.8 27B가 원시 가중치 수치만으로 강화학습 네트워크가 학습한 게임을 맞혔다고 보고했다. Pac-Man, Pong, Breakout은 식별했지만 한 문제당 46분에서 1시간 넘게 걸렸다.
동일한 오픈 웨이트 모델 GLM-5.3-flash를 AppWorld의 90개 태스크로 비교한 결과, 하네스에 따라 태스크 완료율이 CUGA의 81.1%에서 Deep Agents의 30.0%까지 크게 달랐다. 세 조건 모두 성공한 시나리오의 비율(SGC)도 CUGA 66.7%, Hermes 26.7%, Deep Agents 6.7%였다.
OpenAI는 일상생활의 실무 과제에서 AI의 성능을 측정하는 평가 'LifeVal'을 발표했다. 미국과 국제의 시간 사용 조사를 바탕으로 3,995명의 조사에서 중요하게 여겨진 육아, 의료, 가계 관리, 쇼핑, 행정 절차 등의 과제를 선정했다. 공개된 사례에서는 GPT-6 Astra의 최고 기록이 여러 과제에서 100%에 도달했다.
OpenAI@OpenAIAI 점수3838
GPT-6.1 Sol 에이전트 50개체를 Minecraft에서 3시간 동안 가동한 실험에서, 에이전트들은 투표 없이 'Ada'를 리더로 선출하고 식량 관리와 어업 교대를 포함한 체계를 만들어 냈다. 첫날 밤에는 22개체가 사망했고, 이후 Ada가 대규모 건설과 채굴, 원정 중단을 지시했다. 대전 형식의 Bed Wars에서는 GPT 에이전트 10개체가 Claude Opus 5.5의 10개체를 상대로 6승 3패로 승위를 기록했다.
미국 텍사스대학교 오스틴캠퍼스 등의 연구진이 지연된 행동이 성패에 직접 영향을 미치는 실시간 대화 과제에서 LLM을 평가하는 벤치마크 「Realtime-Bench」를 구축했다. 게임과 웹을 합친 총 50개 과제로 구성된다. 최고 성공률은 GPT-6-Astra(high)의 wall clock 조건에서 36%에 그쳤으며, 시계를 멈출 수 있는 paused clock 조건에서는 추론을 강화한 모델이 70%에서 80%에 가까워진다.
RoboColosseum은 다양한 환경에 분산된 로봇으로 범용 로봇 정책을 평가하는 프레임워크다. 5개의 VLA 정책과 3개의 프런티어 AI 에이전트를 4종의 embodiment에서 비교한 결과, embodiment 간 순위의 일치도는 약했고(Kendall W = 0.24), 모든 시스템이 오픈월드 과제를 안정적으로 완수하는 데 어려움을 겪었다.
IdeaTaste 평가에서 LLM 에이전트는 연구의 대략적인 방향성에서는 인간 커뮤니티에 가까워지지만, 구체적인 접근법과 기대되는 성공 가능성에서는 크게 뒤처진다. 인용 문헌의 일치도는 인간의 약 26%, 아이디어의 일치도는 18%에 그쳤다. 6개 모델, 4개 연구 분야, 9만 건이 넘는 제안을 대상으로 했으며, 공개되어 지속적으로 갱신되는 오픈 리더보드로 제공되고 있다.
CrossSWE는 상호 의존적인 여러 리포지토리에 걸친 공동 개발을 평가하는 벤치마크로, 165개 리포지토리, 20개 기술 분야, 13개 프로그래밍 언어에 걸친 171건의 사례를 포함한다. 5개의 LLM을 평가한 결과, 가장 성능이 높은 GPT-6.1 Sol도 Pass@1은 58.48%에 그쳤다. 가장 많은 실패 유형은 리포지토리 간 불일치로, 전체의 44.2%를 차지했다.
uni-robot-agent는 오픈 웨이트 모델을 기반으로 한 로봇 조작 에이전트를 통합 하네스 위에서 구동하며, 제로샷 조작에서 독점 모델에 근접한 성능을 보였다고 밝혔다. Qwen3.8-Flash-Next는 RoboDojo Score에서 31.39점을 기록해, 공개된 GPT-6 Astra-RoboProbe(28.97점)와 다수의 VLA / WAM 베이스라인을 웃돌았다. 실제 환경의 19개 과제에서도 경쟁력 있는 결과를 보였으며, 저자들은 효과적인 로봇 조작에 관여하는 4가지 범용 능력을 함께 키워야 한다고 제안했다.
Playgama가 AI Game Index를 공개했다. Playgama Sandbox에서 공개된 게임의 플레이어 행동을 바탕으로 AI 모델과 개발 도구를 비교하는 매일 갱신되는 서비스다. 2026년 10월 29일 기준으로 5.4천 개 이상의 브라우저 게임과 140만 회의 런칭을 집계했으며, Claude Code가 제작된 게임의 50%를 차지해 가장 많다.
Wave Forcing은 생성, 학습, 실행을 하나로 묶어 설계함으로써 연속적인 장편 동영상 생성의 효율과 품질을 높이는 기법이다. Wan2.1-T2V-1.3B를 사용한 실험에서 5단계 WF는 전체 품질 면에서 Rolling Forcing에 맞먹는 성능을 유지했으며, 짧은 영상과 긴 영상 모두에서 Dynamic Degree가 더 높았다. H200 GPU 8기 환경에서는 4단계 WF가 DiT FPS 147.6, 엔드투엔드 FPS 134.8을 달성했으며, 이는 단일 GPU의 엔드투엔드 처리량 대비 7.07배에 해당한다.
SpecSlot은 픽셀 공간의 rectified-flow Transformer에서 각 공간 앵커를 DCT 계수의 주파수 대역별로 할당된 여러 슬롯으로 확장하고, 가장 저주파 슬롯만 전역 어텐션에 참여시키는 기법이다.
ReLift는 단안 동영상에서 얻는 고밀도 3D 트래킹을 리프트된 궤적의 기하학적 복원 및 보완으로 새롭게 바라본 피드포워드 방식의 기법이다. 이미지 기반 학습이 필요 없으며, 시뮬레이션한 리프트 오차를 포함한 3D 궤적으로 직접 학습한다. WorldTrack에서 최고 수준의 평균 정확도를 달성했으며, 가장 강력한 베이스라인 대비 전체 점에서 2.1 APD, 동적 점에서 3.0 앞섰다. 빠른 설정에서도 주요 3D 트래커와 경쟁하며, 4RCf보다 빠르게 동작한다.
REA는 파운데이션 모델에 의한 숙고형 제어와 고속 반사형 정책을 비동기로 통합하는 런타임이다. LIBERO-Pro의 60개 작업·3,000에피소드에서 성공률 95.9%를 달성해, 동일 정책군 내 최고의 단일 에이전트 기준(94.7%)을 웃돌면서 제어 스텝은 25%, 제어 시간은 17% 줄였다. RoboTwin 2.0에서는 VLA 정책 단독 84%, VLA+code 86%를 기록해, 최강 VLA 기준인 MEDex(80%)를 넘어섰다.
Mistral AI@MistralAIAI 점수2828Impressed by the new @MistralAI large-4 update! The model update is much better at coding and performs as the 2nd best OSS model on our coding benchmark
SecurityScorecard가 AI가 공급망을 방어하고 공격을 견딜 수 있는지 검증하는 세계 최초의 TPRM 벤치마크를 발표했다. 본문을 가져오지 못해 벤치마크의 구성이나 결과 등 세부 내용은 확인할 수 없다.
구글은 10월 28일 블로그를 통해 새로운 프런티어 모델 Gemini 4 Carbon을 발표했다. Artificial Analysis Intelligence Index v5.0에서 59점을 기록해 Claude Opus 5.5를 1점 앞섰다. 당분간은 Fairwind Program의 승인을 받은 일부 사이버 방어 담당자만 이용할 수 있으며, 일반 제공 시기는 밝혀지지 않았다.
Palantir 출신의 Andy Elder와 Arjun Mathur가 설립한 Dream은 Andreessen Horowitz가 주도한 시드 자금 1,700만 달러를 조달했으며, 건축·엔지니어링·건설(AEC)을 위한 세계 모델을 개발하고 있다고 발표했다. 이 회사의 모델은 미국 전역의 건축 허가 신청 기록에서 수집한 1억 제곱피트 이상의 건물 데이터로 학습되었으며, 구조적으로 타당한 설계를 생성할 수 있다고 밝혔다. 현재 텍사스주와 캘리포니아주의 10개 프로젝트에 제품이 도입되어 있다.
Google DeepMind는 Gemini 4 Carbon을 발표하고 Artificial Analysis의 Intelligence Index v5에서 59점으로 1위를 차지했다고 밝혔다. 우선 제공 대상은 Fairwind Program을 통해 신뢰받는 사이버 방어 담당자이며, 개발자 대상 일반 제공은 "가능한 한 빨리"로 예정돼 있다. 코딩에서는 Antigravity CLI로 측정한 결과가 Claude Code 상의 Opus 5.5에 못 미치는 등 분야별로 평가가 엇갈린다.
Elorian의 시각 추론 모델 「Glimpse」가 공동 공개된 벤치마크 「DecoyCount」에서 50.48%를 기록했다. 논문에서 최고 성적을 낸 GPT-6 Astra의 43.17%를 웃돌았지만, 이는 사내 테스트의 단일 실행 결과이며 논문의 모델은 3회 평균값이라고 밝혔다. DecoyCount는 1,660문항으로 구성되며, 시각과 추론을 동시에 검증한다는 점이 특징으로 꼽힌다.
HiFOR는 미래 상태를 계층적으로 예측하고, 행동 생성과 관련된 미래 정보를 검색해 행동을 이끄는 VLA(Vision-Language-Action) 모델용 프레임워크다. 단기적 상태 변화, 의미적 마일스톤, 최종 목표 상태를 계층 의존 마스크(HDM)를 사용해 동시에 예측한다. 두 개의 시뮬레이션 벤치마크와 여섯 개의 실제 로봇 조작 과제에서 실험을 진행해 그 효과가 입증되었다고 한다.
저자가 Codex로 구축한 AI 에이전트 군이 운영한 Premier League 판타지 축구 팀은 수 주가 지난 시점에서도 평균 점수를 넘어서지 못했다. 에이전트를 100개 이상으로 늘려도 개선은 미미했고, API 이용료만 늘어났다고 한다. 예측 능력 평가에서는 GPT-5가 가장 높은 성적을 거둔 것으로 보고됐다.
Artificial Analysis가 Intelligence Index를 version 5로 개편했으며, 오픈 모델 상위권과 전체 1위의 격차는 종전 3포인트에서 12포인트로 벌어졌다. Kimi K3.1 Pro는 출시 당시 4위에서 9위로 밀려났고, Grok 4.7도 12포인트 하락했다. 지수의 60%가 비공개 테스트 세트로 구성되어 벤치마크 대비 학습(benchmaxxing)을 막으려는 목적이 있다.
Artificial Analysis는 지능 지표 「Intelligence Index」를 v5로 업데이트하고, Knowledge Work, Coding, Science, General을 각각 25%씩의 가중치로 구성했다. 새 지표에서는 8개의 클로즈드 모델이 최상위 오픈 웨이트 모델로 꼽히는 Kimi K3.1 Pro를 앞질렀다. 필자는 단일 점수로 집약하면 반드시 트레이드오프가 생기며, 실제 활용은 매우 편차가 커서 지표가 현실을 충분히 포착하지 못한다고 논한다.
코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.
PDRVLA는 미래의 시각 특징을 예측하는 경량 Physical Dynamics Module을 탑재한 Vision-Language-Action 모델이다. 온라인 동영상 생성을 하지 않아 지연을 피하면서, 4개의 시뮬레이션 벤치마크에서 LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%의 성공률을 달성했다.
실행 가능한 코드를 동영상 캡션으로 활용하면 자연어보다 질의응답의 추론 정확도와 영상 재구성의 충실도가 높아지는 것으로 나타났다. 이를 검증하기 위해 구조화된 2D 콘텐츠 동영상 323편을 5개 카테고리로 나누고, 상세한 주석과 다단계 평가 프레임워크를 갖춘 CodeCap-Bench를 제안했다. 주요 상용 MLLM은 유망한 코드 캡션 능력을 보였으나, 복잡한 시간적 변화를 포착하는 데에는 여전히 과제가 남아 있으며 오픈소스 모델은 크게 뒤처지는 것으로 나타났다.
Google의 Gemini 4 Argon은 10월 22일 시점의 조사에서 LMArena의 Text Arena 1위로 기록됐다. 2위 이하와는 근소한 차이로 나란히 있으며, 점수와 투표 수가 공개되지 않아 1위 유지 여부는 판단할 수 없다. Argon은 9월 30일에 발표됐고, 10월 13일에 Gemini 앱과 AI Studio 등을 통해 널리 제공되기 시작했다.
중국 연구팀이 자연어 지시로 단백질을 설계하는 도구 「Pinal」을 발표했다. 테스트에서는 형광 단백질, 2종류의 효소, 대형 다단백질 복합체와 관련된 단백질 등 총 4종을 설계하도록 했다. 학습에는 AlphaFold로 예측한 구조와 짝을 이룬 3개의 데이터베이스 단백질 서열을 사용했으며, 그중 하나에는 8억 쌍의 키워드와 단백질 쌍이 포함되어 있다.
Property Finder는 평가 라벨의 96.8%가 기존 모델의 예측에서 이어받은 것이었으며, 평가가 현행 모델 쪽으로 치우쳐 있었다고 밝혔다. 전문가가 독립적인 정답 데이터를 새로 만들고 진화적 프롬프트 최적화를 수행한 결과, Amazon Bedrock에서 정확도를 높이면서 비용을 86% 줄이는 모델을 선정했다. 평가에는 356장의 이미지를 사용했으며, 주요 지표로 Micro F1을 채택했다.
Ai2는 LLM이 과학 연구 아이디어의 참신성을 얼마나 신뢰성 있게 평가할 수 있는지 검증한 연구 「Old Ideas, Novel Problems」를 공개하고, 참신성 판정용 벤치마크, 데이터, 코드를 함께 공표했다. ICLR 2026의 심사 코멘트에서 참신성에 관한 기술을 추출해 평가 데이터를 구축했으며, GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 등 6개 LLM 판정기를 비교했다.
WIRED 기자 Reece Rogers는 상시 가동형 AI 에이전트 6종을 24시간 동안 5개 과제에 투입해 채점했으며, 종합 최우수로 OpenAI의 Dots를 선정했다. Meta의 Muse는 무료이며 가장 도입하기 쉬웠고, Anthropic의 Claude Duet은 인터페이스가 가장 우수하다는 평가를 받았다. 다만 기자는 어느 것도 추천하지는 않는다며, 프라이버시와 보안에 대한 우려가 남아 있다고 밝혔다.