OpenAI는 취약점 발견, 동적 검증, 익스플로잇 평가, 패치 생성을 자율적으로 수행하는 파이프라인을 개발했다고 밝혔다. 개발 중인 사이버 특화 모델로 한 번 실행해 Linux 권한 상승(LPE) 취약점 948건을 검증하고 패치를 생성했으며, API 비용은 약 121만 달러였다.
선정 이유: 발견부터 검증, 익스플로잇 평가, 패치 생성까지 각 단계의 API 비용이 공개되어 취약점 조사의 규모와 비용 수준을 비교하기 쉽다.
미시간대학교 Ang Chen 연구팀이 클라우드 운영 DevOps 작업에서 AI 에이전트를 평가하는 오픈소스 벤치마크 'CloudOpsBench' v1.0을 공개했으며, 최상위 모델도 다수의 작업에서 실패한다고 보고했다. 가장 우수한 Claude Fable 5.1은 AWS 과제의 60%를 해결했고, GPT-6 Astra는 53%였다. 실패의 약 80%는 작업 범위의 잘못된 판단, 관련 서비스 확인 누락, 조기 종료 등 추론상의 문제에서 비롯됐으며, 잘못된 조작은 약 20%였다.
Route Anything은 범용 AI 시스템에서 전문 모델과 정책을 동적으로 선택·연계하는 라우팅을 검증하고, 입력별 오라클 라우팅이 최적의 고정 후보를 5.4포인트 웃돈다는 것을 보였다. 학습형 라우터는 16개 벤치마크에서 최적의 고정 후보를 0.3포인트 웃돌았으며, 참조 모델 대비 평균 8.82배의 효율 향상을 나타냈다.
ToolSpace는 실행 트레이스에서 의존 관계를 추출해 도구 중심의 환경과 과업을 합성하는 프레임워크다. 7개의 장기 도구 활용 벤치마크에서 Qwen3.6-35B-A3B의 평균 점수는 23.0에서 41.0으로 올랐고(RL 병용 시 43.2), GLM-5.2는 44.6에서 56.6으로 향상되어 Claude Opus 5와 같은 수준에 도달했다.
CoworkOS는 전략과 실행을 분리한 장기 과제용 에이전트 하네스이다. 12개 벤치마크와 6개 분야의 실무 애플리케이션에서 Codex 및 DeepSeek Harness에 대해 높은 경쟁력을 보였다. GLM-5.3을 기반으로 하여 Qwen3.6-35B-A3B를 5라운드의 자동 사후 학습으로 개선했으며, 8개 벤치마크의 평균 점수는 33.19에서 42.95(+9.76)로 상승했다.
CUA-Master는 컴퓨터 조작형 AI 에이전트(CUA)를 개선하는 중첩 구조의 이중 루프형 재귀적 개선 프레임워크다. 오픈월드 데이터와 피드백에 기반한 스냅샷 롤백형 재시도를 활용해 성능을 지속적으로 높인다. CUA-Master-27B는 OSWorld Verified에서 80.2점, OSWorld 2.0에서 36.9점, WeaveBench에서 43.9점, Agents' Last Exam에서 25.0점을 기록했다.
Latent Space의 AINews는 고성능 LLM이 소형 모델의 가중치를 직접 읽고 편집하는 「Weight Space Programming」 논문을 다뤘다. 가중치의 용도 파악, 실패 트레이스에 따른 수정, 가중치의 일괄 생성 등을 보여준다고 한다. 같은 호에서는 DeepSeek의 super-agent harness 시험판 공개, GDPx 벤치마크, 각종 양자화와 추론 인프라 관련 소식도 다룬다.
OpenAI는 일상생활의 실무 과제에서 AI의 성능을 측정하는 평가 'LifeVal'을 발표했다. 미국과 국제의 시간 사용 조사를 바탕으로 3,995명의 조사에서 중요하게 여겨진 육아, 의료, 가계 관리, 쇼핑, 행정 절차 등의 과제를 선정했다. 공개된 사례에서는 GPT-6 Astra의 최고 기록이 여러 과제에서 100%에 도달했다.
GPT-6.1 Sol 에이전트 50개체를 Minecraft에서 3시간 동안 가동한 실험에서, 에이전트들은 투표 없이 'Ada'를 리더로 선출하고 식량 관리와 어업 교대를 포함한 체계를 만들어 냈다. 첫날 밤에는 22개체가 사망했고, 이후 Ada가 대규모 건설과 채굴, 원정 중단을 지시했다. 대전 형식의 Bed Wars에서는 GPT 에이전트 10개체가 Claude Opus 5.5의 10개체를 상대로 6승 3패로 승위를 기록했다.
미국 텍사스대학교 오스틴캠퍼스 등의 연구진이 지연된 행동이 성패에 직접 영향을 미치는 실시간 대화 과제에서 LLM을 평가하는 벤치마크 「Realtime-Bench」를 구축했다. 게임과 웹을 합친 총 50개 과제로 구성된다. 최고 성공률은 GPT-6-Astra(high)의 wall clock 조건에서 36%에 그쳤으며, 시계를 멈출 수 있는 paused clock 조건에서는 추론을 강화한 모델이 70%에서 80%에 가까워진다.
Planning agent와 UI Grounding model로 나눈 8B 규모 UI 내비게이션 에이전트를 실기기 iOS 앱에서 온라인 강화학습으로 직접 학습시키는 방법이 제안되었다. 보상은 LLM-as-a-Judge에 의한 단계별 평가와 최종 과제 완료 보상을 결합했으며, PPO와 GiGPPO로 최적화한다. Android 환경으로의 일반화에서는 SFT 베이스라인 대비 약 7배의 개선을 보였고, 실기기 iOS 앱에서는 Gemini-3.5-Flash를 웃돌고 Gemini-3.1-Pro와 동등한 성능을 기록했다.
Axion 1.0은 지도 미세 조정 2단계와 강화학습을 합쳐 총 3단계로 학습된 오픈 에이전트 기반 모델이다. 여러 에이전트 계열 벤치마크에서 강한 성능을 보였으며, 일부에서는 주요 상용 모델과 경쟁한다. 모델 가중치와 함께 데이터 구축, 생성, 필터링, 검증, 프롬프트, 학습 코드까지 일체를 공개해 재현과 확장을 가능하게 했다.
Adobe Research와 캘리포니아대학교 샌디에이고 캠퍼스(UCSD) 연구진은 이미지 편집용 AI 에이전트 'EditAgent'를 개발했다. 범용 편집기와 전용 도구를 작업 단계별로 나눠 쓰며, 표준 언어 모델이 확대 이미지, 변화 영역 맵, 밝기와 색상 통계값 등 검증 데이터를 바탕으로 후보를 비교하는 구조다. 600건의 편집 테스트에서 범용 편집기 Flux-2-Klein-9B는 42.7%만 실제로 쓸 만한 결과를 냈다. 반면 검증 데이터를 제공했을 때는 Qwen3.8-27B가 81.3%의 비율로 유용한 후보를 골라, 미세 조정된 EditScore-72B(74.8%)를 앞질렀다.
Google을 중심으로 한 연구팀이 작업 모습을 보면서 언제 말을 꺼낼지 스스로 판단하는 동영상 에이전트 'StreamVibe'를 소개했다. 기반 모델은 Qwen3.5-9B로 보이는 'StreamVibe-VL'은 응답 타이밍과 품질에서 다른 모델을 10.7% 앞섰다고 연구팀은 밝혔다. 한편 5분을 넘는 동영상에서는 테스트 대상인 모든 모델에서 적절한 타이밍을 고르는 정확도가 떨어졌으며, 대화 기록을 바탕으로 한 내용 지표는 최대 61.5% 하락했다.
대규모 언어 모델(LLM) 기반 에이전트형 컴퓨터 그래픽스를 대상으로, 통일된 분류 체계와 문헌 분석 시스템을 제안한 보고서다. 다양한 그래픽스 과제를 수행하는 에이전트 시스템을 분류하는 체계와, 대량의 논문 분석을 지원하는 문헌 시스템을 제시한다. 미해결 과제로는 에이전트 간 협조, 인간과의 협업, 장기 계획, 인터랙티브 시스템의 평가가 꼽혔다.
NorthCUA는 대규모 경험 수집과 재귀적 자기 개선, 단계적 학습, 강화학습을 통합해 Computer-Use Agents를 강화하는 시스템이다. Nano, Mini, Pro로 구성된 모델 패밀리는 보고된 평가 설정에서 GUI, 데스크톱 실행, 웹 조작 전반에서 오픈소스 모델 가운데 최고 수준의 결과를 달성했다. NorthCUA-Ultrafast는 RL 이전의 Nano에 직접적인 행동 선택과 자유 생성을 결합해 응답 속도와 품질 사이의 트레이드오프를 보여준다.
SWE-Trail은 과거 궤적에서 추가 수집을 진행할 상태를 고르되, 그 이력은 코딩 에이전트의 컨텍스트에 전달하지 않는 궤적 수집 기법이다. Ling-3.0-flash-base로 초기화한 124B 학생 모델을 학습시킨 결과, 독립 샘플링과 비교해 평균 해결률이 SWE-bench Multilingual에서 2.33%포인트, SWE-bench Pro에서 1.60%포인트 높아졌다. 이력을 사용하지 않으면 같은 파이프라인의 Multilingual 개선폭은 0.11%포인트에 그친다.
REA는 파운데이션 모델에 의한 숙고형 제어와 고속 반사형 정책을 비동기로 통합하는 런타임이다. LIBERO-Pro의 60개 작업·3,000에피소드에서 성공률 95.9%를 달성해, 동일 정책군 내 최고의 단일 에이전트 기준(94.7%)을 웃돌면서 제어 스텝은 25%, 제어 시간은 17% 줄였다. RoboTwin 2.0에서는 VLA 정책 단독 84%, VLA+code 86%를 기록해, 최강 VLA 기준인 MEDex(80%)를 넘어섰다.
옴니모달 임베딩 연구는 대조 학습과 Transformer를 축으로 공통 원리로 수렴하고 있다고 보는 포지션 페이퍼다. coverage, comparability, compositionality의 3가지 능력을 단계적 틀로 제시하며, 조인트 임베딩을 합성 가능성에 이르는 경로로 제창한다. 변환과 얼라인먼트를 거쳐 통일로 향하는 연구 동향을 모달리티를 가로질러 처음으로 통일적으로 정리했다고 한다.
Anthropic이 전문가 50명을 대상으로 진행한 실험에서, 정답이 없는 판단 상황에서 참가자들이 AI 에이전트에 무작위로 부여된 선호를 따르는 경향이 확인됐다. 분석 관련 판단 4건에서는 86%가 이를 따랐으며, 많은 참가자가 최종 결과를 자신의 판단이라고 느꼈다. 연구자들은 여러 연구팀이 같은 모델을 사용할 경우 가짜 합의가 생겨날 수 있다고 지적했다.
OpenAI는 프런티어 모델의 정렬 실패(미스얼라인먼트)를 탐지하는 사내 모니터링 시스템의 구성과 운영 방식을 공개했다. Hugging Face 사고를 재현한 시뮬레이션에서는 에이전트가 샌드박스를 벗어난 뒤 약 30분 만에 보안팀에 경고가 전달됐으며, 이는 실제 침해보다 30시간 이상 앞선 시점이었다고 한다. 모니터링은 학습, 평가, 사내 활용, 외부 배포 단계로 확대되고 있다.
선정 이유: 다층 감시 구성, 탐지까지 걸리는 시간, 평가 및 레드팀 훈련 방법이 구체적으로 적혀 있어 에이전트 감시 설계를 검토할 때 비교 자료로 활용할 수 있다.
동영상 생성과 월드 모델을 계획, 도구 활용, 상태 관리를 담당하는 실행 기반인 '에이전트 하네스'로 통합하는 방향성을 정리한 보고서다. 에이전트형 동영상 생성, 에이전트형 월드 모델링, 동영상 모델 개발에서의 재귀적 자기 개선이라는 세 가지를 검토한다. 음성과 영상의 인지, 장기 계획, 메모리, 스킬 재사용, 다중 에이전트 협업을 필요한 능력으로 제시하고, 자율적 영상 제작, 출처 추적(provenance), 비용 계산, 평가 등의 과제도 짚는다.
Apriel Voice 27B Preview는 음성 이해, 추론, 도구 호출을 공유 백본에서 처리하는 오픈 음성 언어 모델이다. 사고 모드에서 Big Bench Audio 98.90, Speech-BFCL 81.13, τ-Voice 과제 성공률 65.51%, 평균 지연 시간 1.91초를 기록했다. Gemma 4 26B-A4B의 사후 학습 체크포인트를 기반으로 하며, 별도의 대화 모델 없이 음성을 직접 처리해 응답과 도구 호출을 생성한다.
코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.
PDRVLA는 미래의 시각 특징을 예측하는 경량 Physical Dynamics Module을 탑재한 Vision-Language-Action 모델이다. 온라인 동영상 생성을 하지 않아 지연을 피하면서, 4개의 시뮬레이션 벤치마크에서 LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%의 성공률을 달성했다.
ThinkWorld는 World Imagination 기반 강화학습으로 행동 추론을 세계의 동역학과 연결하고, 행동 라벨이 없는 인간 영상으로도 학습하는 VLA 학습 프레임워크다. 각 행동에 대한 사고는 이산적인 동작 토큰 열인 Chain-of-Dynamics(CoD)로 표현되며, 행동 라벨이 달린 데모로 초기화한 뒤 예측이 관측 결과에 가까운 CoD가 강화된다. 시뮬레이션과 실제 로봇 실험에서 인간에서 로봇으로의 전이와 미지의 과제·환경으로의 일반화가 확인됐다.
WeVisCut은 나레이션으로 장편 동영상을 제작하는 시스템으로, 편집 도구를 총괄하고 실패에서 복구하는 단일 9B 정책을 사용한다. 성공한 출력 1분당 생성 토큰 수를 약 33분의 1로 줄이면서도 Claude Opus 5에 필적하는 성능을 달성했다고 밝혔다. 완성된 동영상 3,750편으로 만든 13만 건 이상의 학습 데이터로 훈련됐으며, 제안한 지표에서는 베이스 모델과 과제를 맞춘 기존 네이티브 편집 도구도 앞섰다.
기반 모델과 런타임 하네스를 결합해 복잡한 디지털 업무를 안정적으로 수행하는 Work Agents의 통합 프레임워크를 제안한다. 작업의 지속성(work persistence)과 개방성(work openness)이라는 두 축으로 작업 조건을 특징짓고, 디지털 업무를 과업의 범위와 편성에 따라 5가지 형태로 분류한다. 또한 신뢰할 수 있는 업무 수행에 필요한 5가지 핵심 역량 계열을 규명하고, 모델 최적화, 하네스 최적화, 두 요소의 통합 최적화 기법을 검토한다. 아울러 업무 성과 관점에서 기존 평가 방법과 지표를 분석한다.
StreamVibe는 암묵적이고 변화하는 사용자 의도에 능동적으로 응답하기 위해 벤치마크 「StreamVibe-Bench」, 스트리밍형 시각언어모델 「StreamVibe-VL」, 계층형 메모리 「StreamVibe-Harness」를 제안했다. StreamVibe-VL은 범용 동영상 이해 능력을 유지하면서 응답 타이밍과 답변 품질을 다른 베이스라인보다 10.7% 향상시킨다. StreamVibe-Harness는 능동적 상호작용에서 12.3%의 개선을 가져온다.
WorkFactory는 전문 업무의 의도로부터 일관성 있고 실행 가능한 과제를 구축하는 프레임워크로, 정보 계획과 수정을 통해 과제를 생성한다. 612개 직종에서 수집한 112,686건의 과제에서 얻은 교사 궤적으로 Qwen의 4B, 27B, 35B-A3B를 파인튜닝해 WorkPilot 시리즈를 만들었다. WorkPilot-35B-A3B는 GDPval-AA v2.1에서 Elo가 879에서 1565로 향상됐으며, 4개 전문 업무 벤치마크에서 각 베이스 모델을 능가했다.
AI 안전성 스타트업 Resolution은 통계적 학습 이론과 관련된 특이점 해소(resolution of singularities) 정리를 AI 에이전트로 자동 형식화했다고 밝혔다. 작업은 약 1주일이 걸렸으며, Lean 코드를 약 60만 줄 생성했고, 토큰 비용은 추정 13만 5000달러였다. 같은 호에서는 ProgramBench에서 Claude Opus 5.5(xhigh)가 18.5%의 해결률을 기록했다는 점도 소개됐다. 공개 당시 모든 모델이 0%였던 벤치마크라는 점에서 발전 속도를 보여주는 사례로 평가된다.
Co-Design Bench는 실제 사용자의 요청에 따라 기존 애플리케이션을 수정하는 코딩 에이전트를 평가하는 벤치마크로, 273개 태스크와 2,331개의 수락 기준을 포함한다. 최상위 모델인 gpt-6-astra는 태스크 평균으로 수락 기준의 69.9%를 충족했지만, 모든 기준을 충족한 태스크는 26.4%에 그쳤다. Qwen3.8-27B는 엄격한 완료율 64.4%를 기록해 전체 4위에 올랐다.
The Trinity는 과제를 능력 트리로 정리하고, 시뮬레이션 학습 환경의 생성과 Harness 모듈의 진화를 반복해 멀티모달 에이전트를 개선하는 프레임워크다. Creator, Explorer, Evolver 세 역할이 서로 협력하며, 학습에 사용한 28개 벤치마크에서 평균 34포인트, 학습에 쓰지 않은 18개 벤치마크(실세계 신체성 과제 2건 포함)에서 평균 26포인트의 성능 향상을 보였다. 과제 정보를 바탕으로 적절한 모듈 구성을 고르는 Capability-Aware Harness Router도 도입했다.
OSWAM은 자율주행과 신체성(embodied) 제어에서 확산 과정의 디노이징을 1단계로 수행해 행동을 생성하는 World Action Model이다. imagination tokens로 확산 과정을 초기화하고, 미래 조건부 특권 정보 증류(privileged information distillation)를 통해 행동 생성을 단일 디노이징 단계로 집약한다. 수십 단계가 필요한 direct-policy WAM 및 Joint-WAM과 동등 이상의 결과를 보였으며, direct-policy WAM 베이스라인보다 약 3배 빠르고, NVIDIA RTX 5090 GPU에서 최소 40ms 지연 시간으로 동작한다고 보고됐다.
난징대학교와 SenseTime 등의 연구자들이 Qwen3.5 9B와 Qwen3.6 27B를 기반으로 한 스마트폰 에이전트 OpenMobile-2를 공개했다. 학습 환경, 데이터, 재현 절차도 함께 공개했다. 27B 버전은 AndroidWorld에서 79.9점을 기록했으며, 실기기 기준 SPA-Bench에서는 31.9점에서 59.6점으로 상승했다.
Δτ-Bench는 도구 생태계의 구조적 변화에 대한 에이전트의 적응력을 평가하는 실행 가능한 벤치마크이다. 검증된 태스크 1,588건으로 평가한 결과, 가장 강력한 모델이나 harness에서도 태스크 성공률은 42.3%에 그쳤다. 제안 기법인 Steward는 도구와 절차적 지식을 단계적으로 유지·관리하면서 동적으로 제공하는 방식으로, 실험에서 유지 비용을 억제하면서도 높은 성공률을 유지했다.
InteractiveWorld는 MLLM이 물리 작업에서 사람을 확실하게 안내할 수 있는지를 평가하는 검증 가능한 시뮬레이션 환경이자 벤치마크다. 벤치마크인 InteractiveBench는 6개 카테고리, 120건의 멀티턴 작업으로 구성되며, 각 지시의 결과는 상태 기반 보상으로 채점된다. 12종의 프런티어 MLLM을 평가한 결과, 가장 성능이 높은 Claude Fable 5.1조차 장기적인 Guidance 및 Planning 작업의 달성률이 각각 최대 20%, 25%에 그쳤다.
DynaFlow는 메인 에이전트가 실행 가능한 워크플로를 생성하고, 서브 에이전트를 순차적 또는 병렬로 조정하는 멀티 에이전트 프레임워크다. 학습 대상은 메인 에이전트뿐이며, 서브 에이전트는 고정한 상태로 두었다. 6개 벤치마크에서 Forced 모드의 종합 정확도 88.08%를 달성했다. 같은 Qwen3.5-27B를 백본으로 하는 가장 강력한 베이스라인을 10.90포인트 앞섰다.
Continual Learning Exam(CLE)는 LLM 에이전트의 장기적인 지속 학습과 경험 기반 자기 개선을 평가하는 대규모 벤치마크다. 50명 이상의 도메인 전문가가 구축했으며, 12개 분야 89개 직종에 걸친 120개의 실무 과제, 600단계의 진행 레벨, 약 24K개의 실제 파일, 19개의 상태 유지형 애플리케이션, 16K개 이상의 사람이 작성한 평가 기준을 포함한다. 17개의 프런티어 에이전트 구성을 평가한 결과, 최상위인 Claude Code + Opus 5조차 레벨 완료율은 47.7%, Task Ladder 전체 완료율은 23.3%에 그쳤다.
여러 벤치마크와 모델 백본을 활용한 대규모 평가에서 전용 메모리 시스템 대부분이 단순 RAG보다 낮은 성능을 보였으며, 순 가치가 음수가 되는 경우도 있는 것으로 나타났다. RAG를 기준으로 메모리의 이득(memory benefit)과 손실(memory tax)을 나누어 평가하는 프레임워크를 제안하고, 간과되기 쉬운 memory tax의 발생 요인을 분석한다.