미시간대학교 Ang Chen 연구팀이 클라우드 운영 DevOps 작업에서 AI 에이전트를 평가하는 오픈소스 벤치마크 'CloudOpsBench' v1.0을 공개했으며, 최상위 모델도 다수의 작업에서 실패한다고 보고했다. 가장 우수한 Claude Fable 5.1은 AWS 과제의 60%를 해결했고, GPT-6 Astra는 53%였다. 실패의 약 80%는 작업 범위의 잘못된 판단, 관련 서비스 확인 누락, 조기 종료 등 추론상의 문제에서 비롯됐으며, 잘못된 조작은 약 20%였다.
Route Anything은 범용 AI 시스템에서 전문 모델과 정책을 동적으로 선택·연계하는 라우팅을 검증하고, 입력별 오라클 라우팅이 최적의 고정 후보를 5.4포인트 웃돈다는 것을 보였다. 학습형 라우터는 16개 벤치마크에서 최적의 고정 후보를 0.3포인트 웃돌았으며, 참조 모델 대비 평균 8.82배의 효율 향상을 나타냈다.
ToolSpace는 실행 트레이스에서 의존 관계를 추출해 도구 중심의 환경과 과업을 합성하는 프레임워크다. 7개의 장기 도구 활용 벤치마크에서 Qwen3.6-35B-A3B의 평균 점수는 23.0에서 41.0으로 올랐고(RL 병용 시 43.2), GLM-5.2는 44.6에서 56.6으로 향상되어 Claude Opus 5와 같은 수준에 도달했다.
YANAMI는 다턴에 걸친 대화 상태 추적을 평가하기 위한 대규모 멀티모달 대화 데이터셋 'YANAMI-400K'(대화 40만 건, 이미지 200만 장 이상, 발화 260만 턴)와 벤치마크 'YANAMI-Bench'다.
Hugging Face가 장문 문서 안 개체(엔티티)의 상태 변화를 언어 모델이 어디까지 추적할 수 있는지 측정하는 벤치마크 'StateBench'를 공개했다. 난이도는 4단계로 나뉘며, 변수에 값을 대입하는 방식에 따라 갱신 연산의 복잡도가 달라진다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, Luna 같은 프런티어 모델은 입력이 길어지면 까다로운 형식의 상태 추적에서 무너졌다. 반면 순환(recurrent)형과 하이브리드형 모델은 Transformer보다 더 먼 길이까지 일반화할 수 있었다고 한다.
OpenAI는 일상생활의 실무 과제에서 AI의 성능을 측정하는 평가 'LifeVal'을 발표했다. 미국과 국제의 시간 사용 조사를 바탕으로 3,995명의 조사에서 중요하게 여겨진 육아, 의료, 가계 관리, 쇼핑, 행정 절차 등의 과제를 선정했다. 공개된 사례에서는 GPT-6 Astra의 최고 기록이 여러 과제에서 100%에 도달했다.
OpenAI@OpenAIAI 점수3838
GPT-6.1 Sol 에이전트 50개체를 Minecraft에서 3시간 동안 가동한 실험에서, 에이전트들은 투표 없이 'Ada'를 리더로 선출하고 식량 관리와 어업 교대를 포함한 체계를 만들어 냈다. 첫날 밤에는 22개체가 사망했고, 이후 Ada가 대규모 건설과 채굴, 원정 중단을 지시했다. 대전 형식의 Bed Wars에서는 GPT 에이전트 10개체가 Claude Opus 5.5의 10개체를 상대로 6승 3패로 승위를 기록했다.
미국 텍사스대학교 오스틴캠퍼스 등의 연구진이 지연된 행동이 성패에 직접 영향을 미치는 실시간 대화 과제에서 LLM을 평가하는 벤치마크 「Realtime-Bench」를 구축했다. 게임과 웹을 합친 총 50개 과제로 구성된다. 최고 성공률은 GPT-6-Astra(high)의 wall clock 조건에서 36%에 그쳤으며, 시계를 멈출 수 있는 paused clock 조건에서는 추론을 강화한 모델이 70%에서 80%에 가까워진다.
RoboColosseum은 다양한 환경에 분산된 로봇으로 범용 로봇 정책을 평가하는 프레임워크다. 5개의 VLA 정책과 3개의 프런티어 AI 에이전트를 4종의 embodiment에서 비교한 결과, embodiment 간 순위의 일치도는 약했고(Kendall W = 0.24), 모든 시스템이 오픈월드 과제를 안정적으로 완수하는 데 어려움을 겪었다.
IdeaTaste 평가에서 LLM 에이전트는 연구의 대략적인 방향성에서는 인간 커뮤니티에 가까워지지만, 구체적인 접근법과 기대되는 성공 가능성에서는 크게 뒤처진다. 인용 문헌의 일치도는 인간의 약 26%, 아이디어의 일치도는 18%에 그쳤다. 6개 모델, 4개 연구 분야, 9만 건이 넘는 제안을 대상으로 했으며, 공개되어 지속적으로 갱신되는 오픈 리더보드로 제공되고 있다.
CrossSWE는 상호 의존적인 여러 리포지토리에 걸친 공동 개발을 평가하는 벤치마크로, 165개 리포지토리, 20개 기술 분야, 13개 프로그래밍 언어에 걸친 171건의 사례를 포함한다. 5개의 LLM을 평가한 결과, 가장 성능이 높은 GPT-6.1 Sol도 Pass@1은 58.48%에 그쳤다. 가장 많은 실패 유형은 리포지토리 간 불일치로, 전체의 44.2%를 차지했다.
uni-robot-agent는 오픈 웨이트 모델을 기반으로 한 로봇 조작 에이전트를 통합 하네스 위에서 구동하며, 제로샷 조작에서 독점 모델에 근접한 성능을 보였다고 밝혔다. Qwen3.8-Flash-Next는 RoboDojo Score에서 31.39점을 기록해, 공개된 GPT-6 Astra-RoboProbe(28.97점)와 다수의 VLA / WAM 베이스라인을 웃돌았다. 실제 환경의 19개 과제에서도 경쟁력 있는 결과를 보였으며, 저자들은 효과적인 로봇 조작에 관여하는 4가지 범용 능력을 함께 키워야 한다고 제안했다.
Wave Forcing은 생성, 학습, 실행을 하나로 묶어 설계함으로써 연속적인 장편 동영상 생성의 효율과 품질을 높이는 기법이다. Wan2.1-T2V-1.3B를 사용한 실험에서 5단계 WF는 전체 품질 면에서 Rolling Forcing에 맞먹는 성능을 유지했으며, 짧은 영상과 긴 영상 모두에서 Dynamic Degree가 더 높았다. H200 GPU 8기 환경에서는 4단계 WF가 DiT FPS 147.6, 엔드투엔드 FPS 134.8을 달성했으며, 이는 단일 GPU의 엔드투엔드 처리량 대비 7.07배에 해당한다.
SpecSlot은 픽셀 공간의 rectified-flow Transformer에서 각 공간 앵커를 DCT 계수의 주파수 대역별로 할당된 여러 슬롯으로 확장하고, 가장 저주파 슬롯만 전역 어텐션에 참여시키는 기법이다.
ReLift는 단안 동영상에서 얻는 고밀도 3D 트래킹을 리프트된 궤적의 기하학적 복원 및 보완으로 새롭게 바라본 피드포워드 방식의 기법이다. 이미지 기반 학습이 필요 없으며, 시뮬레이션한 리프트 오차를 포함한 3D 궤적으로 직접 학습한다. WorldTrack에서 최고 수준의 평균 정확도를 달성했으며, 가장 강력한 베이스라인 대비 전체 점에서 2.1 APD, 동적 점에서 3.0 앞섰다. 빠른 설정에서도 주요 3D 트래커와 경쟁하며, 4RCf보다 빠르게 동작한다.
REA는 파운데이션 모델에 의한 숙고형 제어와 고속 반사형 정책을 비동기로 통합하는 런타임이다. LIBERO-Pro의 60개 작업·3,000에피소드에서 성공률 95.9%를 달성해, 동일 정책군 내 최고의 단일 에이전트 기준(94.7%)을 웃돌면서 제어 스텝은 25%, 제어 시간은 17% 줄였다. RoboTwin 2.0에서는 VLA 정책 단독 84%, VLA+code 86%를 기록해, 최강 VLA 기준인 MEDex(80%)를 넘어섰다.
HiFOR는 미래 상태를 계층적으로 예측하고, 행동 생성과 관련된 미래 정보를 검색해 행동을 이끄는 VLA(Vision-Language-Action) 모델용 프레임워크다. 단기적 상태 변화, 의미적 마일스톤, 최종 목표 상태를 계층 의존 마스크(HDM)를 사용해 동시에 예측한다. 두 개의 시뮬레이션 벤치마크와 여섯 개의 실제 로봇 조작 과제에서 실험을 진행해 그 효과가 입증되었다고 한다.
코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.
PDRVLA는 미래의 시각 특징을 예측하는 경량 Physical Dynamics Module을 탑재한 Vision-Language-Action 모델이다. 온라인 동영상 생성을 하지 않아 지연을 피하면서, 4개의 시뮬레이션 벤치마크에서 LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%의 성공률을 달성했다.
실행 가능한 코드를 동영상 캡션으로 활용하면 자연어보다 질의응답의 추론 정확도와 영상 재구성의 충실도가 높아지는 것으로 나타났다. 이를 검증하기 위해 구조화된 2D 콘텐츠 동영상 323편을 5개 카테고리로 나누고, 상세한 주석과 다단계 평가 프레임워크를 갖춘 CodeCap-Bench를 제안했다. 주요 상용 MLLM은 유망한 코드 캡션 능력을 보였으나, 복잡한 시간적 변화를 포착하는 데에는 여전히 과제가 남아 있으며 오픈소스 모델은 크게 뒤처지는 것으로 나타났다.
중국 연구팀이 자연어 지시로 단백질을 설계하는 도구 「Pinal」을 발표했다. 테스트에서는 형광 단백질, 2종류의 효소, 대형 다단백질 복합체와 관련된 단백질 등 총 4종을 설계하도록 했다. 학습에는 AlphaFold로 예측한 구조와 짝을 이룬 3개의 데이터베이스 단백질 서열을 사용했으며, 그중 하나에는 8억 쌍의 키워드와 단백질 쌍이 포함되어 있다.
Ai2는 LLM이 과학 연구 아이디어의 참신성을 얼마나 신뢰성 있게 평가할 수 있는지 검증한 연구 「Old Ideas, Novel Problems」를 공개하고, 참신성 판정용 벤치마크, 데이터, 코드를 함께 공표했다. ICLR 2026의 심사 코멘트에서 참신성에 관한 기술을 추출해 평가 데이터를 구축했으며, GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 등 6개 LLM 판정기를 비교했다.
StreamVibe는 암묵적이고 변화하는 사용자 의도에 능동적으로 응답하기 위해 벤치마크 「StreamVibe-Bench」, 스트리밍형 시각언어모델 「StreamVibe-VL」, 계층형 메모리 「StreamVibe-Harness」를 제안했다. StreamVibe-VL은 범용 동영상 이해 능력을 유지하면서 응답 타이밍과 답변 품질을 다른 베이스라인보다 10.7% 향상시킨다. StreamVibe-Harness는 능동적 상호작용에서 12.3%의 개선을 가져온다.
Venus-DefakerOne2는 위조의 형태와 미디어 유형 모두에서 탐지 범위를 넓힌 통합형 위조 대응 기반 모델이다. DeepFake 얼굴(96.7%), AI 생성 이미지(93.3%), 변조 문서(87.6%), 물리적 스푸핑(93.1%), AI 생성 동영상(96.0%) 등의 벤치마크에서 새로운 SOTA를 달성했다. 전작인 DefakerOne을 크게 웃도는 성능이다.
뉴욕대(NYU)와 텍사스대학교 오스틴 캠퍼스 연구팀이 14개 대규모 언어 모델의 출력을 사람이 쓴 글과 비교해, AI 글을 읽기 어렵게 만드는 여섯 가지 언어 패턴을 찾아냈다. 소형 모델은 사람이 쓴 글에 가까웠으며, Claude Opus 5.5는 21개 항목 중 19개에서 전 세대인 Opus 5를 앞섰다. 연구자들은 이 현상의 원인으로 RLHF에서 RLVR로의 전환을 지목하고 있다.
AI 안전성 스타트업 Resolution은 통계적 학습 이론과 관련된 특이점 해소(resolution of singularities) 정리를 AI 에이전트로 자동 형식화했다고 밝혔다. 작업은 약 1주일이 걸렸으며, Lean 코드를 약 60만 줄 생성했고, 토큰 비용은 추정 13만 5000달러였다. 같은 호에서는 ProgramBench에서 Claude Opus 5.5(xhigh)가 18.5%의 해결률을 기록했다는 점도 소개됐다. 공개 당시 모든 모델이 0%였던 벤치마크라는 점에서 발전 속도를 보여주는 사례로 평가된다.
Co-Design Bench는 실제 사용자의 요청에 따라 기존 애플리케이션을 수정하는 코딩 에이전트를 평가하는 벤치마크로, 273개 태스크와 2,331개의 수락 기준을 포함한다. 최상위 모델인 gpt-6-astra는 태스크 평균으로 수락 기준의 69.9%를 충족했지만, 모든 기준을 충족한 태스크는 26.4%에 그쳤다. Qwen3.8-27B는 엄격한 완료율 64.4%를 기록해 전체 4위에 올랐다.
Anthropic 공동창업자 Jack Clark는 AI가 후속 시스템을 스스로 개발하는 재귀적 자기 개선(RSI)이 이르면 2027년에 가능해질 수 있다는 견해를 밝혔다. 기존에는 2028년을 상정하고 있었다. 이러한 전망의 배경에는 P-Zero Research의 벤치마크 'TasteVal'에서 Anthropic의 Opus 5.5가 계산량 승수 2.3을 기록해, 전문가 수준에 절반 미만의 계산량으로 도달한 결과가 있다. 다만 통계적 범위는 1.15~4.37로 넓고, 측정 대상도 과학 연구의 일부에 한정된다.
Δτ-Bench는 도구 생태계의 구조적 변화에 대한 에이전트의 적응력을 평가하는 실행 가능한 벤치마크이다. 검증된 태스크 1,588건으로 평가한 결과, 가장 강력한 모델이나 harness에서도 태스크 성공률은 42.3%에 그쳤다. 제안 기법인 Steward는 도구와 절차적 지식을 단계적으로 유지·관리하면서 동적으로 제공하는 방식으로, 실험에서 유지 비용을 억제하면서도 높은 성공률을 유지했다.
InteractiveWorld는 MLLM이 물리 작업에서 사람을 확실하게 안내할 수 있는지를 평가하는 검증 가능한 시뮬레이션 환경이자 벤치마크다. 벤치마크인 InteractiveBench는 6개 카테고리, 120건의 멀티턴 작업으로 구성되며, 각 지시의 결과는 상태 기반 보상으로 채점된다. 12종의 프런티어 MLLM을 평가한 결과, 가장 성능이 높은 Claude Fable 5.1조차 장기적인 Guidance 및 Planning 작업의 달성률이 각각 최대 20%, 25%에 그쳤다.
Continual Learning Exam(CLE)는 LLM 에이전트의 장기적인 지속 학습과 경험 기반 자기 개선을 평가하는 대규모 벤치마크다. 50명 이상의 도메인 전문가가 구축했으며, 12개 분야 89개 직종에 걸친 120개의 실무 과제, 600단계의 진행 레벨, 약 24K개의 실제 파일, 19개의 상태 유지형 애플리케이션, 16K개 이상의 사람이 작성한 평가 기준을 포함한다. 17개의 프런티어 에이전트 구성을 평가한 결과, 최상위인 Claude Code + Opus 5조차 레벨 완료율은 47.7%, Task Ladder 전체 완료율은 23.3%에 그쳤다.
ChronoReplay는 스트리밍형 시각언어모델(VLM)의 공간 추론 능력을 높이는 학습 프레임워크다. 카테고리형, 거리(메트릭)형, 궤적형 공간 감독 신호를 시간 순서의 에피소드로 정리해, 단일 모델이 상호보완적인 공간 능력을 학습하도록 한다. OVO-S-Bench, OST-Bench, UCS-Bench에서 일관된 향상을 보였으며, OST-Bench에서는 13.41포인트 상승을 기록했다. 여기에 적응형 프레임 선택을 더해 시각 처리 비용을 줄이면서 성능을 한층 끌어올린다.
AV-FABLE은 장시간 음성·영상 동영상에 포함된 국소적 변조를 평가하기 위한 이중 타임라인 벤치마크로, 이를 기반으로 동결된 특징량에서 변조를 탐지하는 NFSR도 제안되었다. 원본·변조 쌍 16,650개(998시간, 편집 구성 27종)로 실험한 결과, AV-LLM에 제로샷 프롬프트를 사용한 탐지는 거의 무작위 추측 수준에 머물렀다.
Microsoft와 Hugging Face는 ThinkingBox의 데이터베이스 상태 판정을 강화학습 보상으로 쓰는 에이전트 학습 방법 「ThinkingBox-Training」을 GitHub에 공개했다. Qwen3.8-27B를 GRPO로 50스텝 학습한 결과, 507개 과제 벤치마크에서 평균 성공률(pass@1)이 51.70%에서 60.78%로 올랐고, 20회 모두 성공한 과제는 38건에서 107건으로 늘었다.
Sensorimotor Alignment(S²)는 감각 표현과 말단 효과기 궤적의 근방 구조가 얼마나 일치하는지를 재는 지표로, 값이 높을수록 로봇의 과제 성공률도 높아지는 경향이 있다고 밝혔다. 시뮬레이션과 실제 기기의 VLA·WAM에서 같은 경향이 확인됐으며, VLA의 성공률은 언어 특징이 아니라 시각 특징의 S²와 상관관계가 있었다. 클로즈드루프 평가에 앞서 쓸 수 있는 저비용 오프라인 지표로, VLA 미세조정 전 VLM 백본 선정에도 활용할 수 있다고 한다.
RSIHub는 에이전트 진화 기법의 구축, 비교, 확장을 공통 기반 위에서 수행하기 위한 오픈소스 프레임워크다. 재사용 가능한 오퍼레이터와 일관된 평가 체계를 갖춰 실험 기반을 반복해서 다시 구현하는 일을 줄이도록 설계됐다. AHE, Hyperagents, A-Evolve, GEPA를 구현하고 MiniSWE와 Codex에서 Terminal Bench 2 및 τ^3 Banking을 평가한 결과, 전체 pass@1의 최대 개선폭은 13.5포인트였다. 다만 기법의 순위는 설정에 따라 달라졌으며, 최적화로 얻은 개선이 보지 못한 과제에 반드시 이전되는 것은 아니었다.
Principia는 추론 시점에 과학적 원리를 구축하고 반복적으로 개선하여, 분자 및 생물학 과제의 발견을 가속화하는 LLM 기반 프레임워크이다. 분자 최적화, 단백질 엔지니어링, 유전자 섭동, 분자 특성 예측 벤치마크에서 내부 지식, 외부 정보원, 경험 요약에 의존하는 기준 모델들을 능가한 것으로 보고되었다. 생성된 원리는 타당하며 과학 문헌과도 일관된다고 한다.
Falcon은 화자의 입술 영상을 활용해 잡음이나 겹쳐진 음성 속에서 목표 화자의 목소리를 추출하는 인과적(causal) 오디오-비주얼 타깃 화자 추출 모델이다. 인과형 AV-TFGridNet과 비교해 학습 가능한 파라미터는 91.9%, 연산량은 20.2배, GPU 추론 지연 시간은 11.1배 줄였다고 보고되었다. 또한 화자 수, 근거리 및 원거리 간섭, 잔향, 돌발적인 잡음을 포함하는 벤치마크 'RealSSA'도 제안되었으며, 코드와 모델 가중치 등은 프로젝트 페이지에서 공개되었다.
TraceTrial-Bench는 AI 에이전트 하네스의 신뢰성을 컨텍스트, 실행, 거버넌스, 라이프사이클, 관측 가능성, 도구, 검증의 7개 구성 요소에 걸쳐 평가하는 벤치마크다. 95개의 전문가 수준 과제로 4개의 하네스와 9개의 모델을 비교했으며, 3,420회 실행에서 하네스 점수는 59.8%에서 72.0%였다. 하네스 기준을 하나 이상 충족하지 못한 실행 가운데 31.1%는 과제를 성공시켰다.