OpenAI는 취약점 발견, 동적 검증, 익스플로잇 평가, 패치 생성을 자율적으로 수행하는 파이프라인을 개발했다고 밝혔다. 개발 중인 사이버 특화 모델로 한 번 실행해 Linux 권한 상승(LPE) 취약점 948건을 검증하고 패치를 생성했으며, API 비용은 약 121만 달러였다.
선정 이유: 발견부터 검증, 익스플로잇 평가, 패치 생성까지 각 단계의 API 비용이 공개되어 취약점 조사의 규모와 비용 수준을 비교하기 쉽다.
Anthropic@AnthropicAIAI 점수4444Google Research는 주관적인 AI 분류기 작성을 반복적인 대화로 다루는 프레임워크 「Agile Deliberation」을 제안했다. 개념의 범위, 하위 범주, 제외 조건을 단계적으로 정의하도록 하며, VLM이 정의의 경계에 해당하는 이미지를 제시해 사용자의 판단을 유도한다. 「Healthy Food」와 「Pay-to-Play」 두 영역에서 회당 1.5시간의 라이브 세션을 18건 진행해 평가했으며, 코드와 알고리즘은 GitHub에서 공개되어 있다.
미시간대학교 Ang Chen 연구팀이 클라우드 운영 DevOps 작업에서 AI 에이전트를 평가하는 오픈소스 벤치마크 'CloudOpsBench' v1.0을 공개했으며, 최상위 모델도 다수의 작업에서 실패한다고 보고했다. 가장 우수한 Claude Fable 5.1은 AWS 과제의 60%를 해결했고, GPT-6 Astra는 53%였다. 실패의 약 80%는 작업 범위의 잘못된 판단, 관련 서비스 확인 누락, 조기 종료 등 추론상의 문제에서 비롯됐으며, 잘못된 조작은 약 20%였다.
Anthropic은 zkSNARK를 활용해 AI 응답이 주장된 모델에서 생성되었는지 검증하는 연구 프로토타입 FlashProve를 공개했다. Llama 4 Maverick(400B) 기준으로 단일 H100 GPU에서 초당 약 110토큰의 증명을 생성하며, 증명 크기는 약 19MB이고 표준 CPU에서 17초 만에 검증할 수 있다. 다만 컨텍스트는 1,024토큰까지로 제한된다.
연구자들은 GPT-6 Astra가 다른 AI 모델의 가중치를 직접 읽고 다시 쓰는 기법 「Weight-Space Programming」을 보고했다. Qwen3.5-0.8B에서는 전체 가중치의 0.016%만 변경했을 뿐인데 MATH-500 정확도가 7.9%에서 48.1%로 향상됐다. 반면 Gemma 3 270M에서는 개선이 나타나지 않았다.
LoCo는 추론 모델이 언제 사고를 멈춰야 하는지를 국소적 선호 학습으로 가르치는 추론 압축 기법이다. 수학 벤치마크 5종에서는 완료 길이를 41.7%~45.4%, 코드 벤치마크 3종에서는 23.4%~36.3% 줄였으며, 정확도는 유지되거나 향상되었다. 학습은 모델이 스스로 생성한 수학 추론 트레이스만으로 이루어지며, 코드 생성에도 전이된다. 코드와 모델은 공개될 예정이다.
FactEmbed는 합성 이미지 검색(CIR)에서 질의 이해와 임베딩 구축을 분리하고, 검색 전에 목표 이미지의 시각적 변경을 시뮬레이션하는 factorized latents를 활용하는 기법이다. CIR 벤치마크 전반에서 기존 기법을 앞섰다고 평가되었다. 학습에서는 요인 단위의 contrastive loss를 최적화하는 한편, 분해된 표현을 MLLM의 더 깊은 attention 층으로 distill한다. 추론에서는 [EOS] 토큰에 의한 글로벌 임베딩과, 평균 풀링한 요인 표현에 의한 후보 리스트 재랭킹을 같은 forward pass에서 수행한다.
VidUEU-Agent는 원본 동영상으로부터 멀티모달 이해, 이미지 편집, 통합 과제를 위한 지시 데이터를 자동으로 구축하는 에이전트형 데이터 큐레이션 프레임워크다. 동일한 초기 체크포인트에서 BAGEL을 30K 샘플씩 미세 조정하는 4회의 반복을 수행하면, 3개의 피드백용 벤치마크 전반에서 성능이 향상된다. 또한 8,268개의 동영상에서 10만 건의 지시 샘플을 담은 VidUEU-100K 데이터셋도 구축되었다.
DreamX는 사전 학습된 비디오 확산 모델을 범용 잠재 액션 학습기로 전용해, 외형에 의존하지 않는 컴팩트한 잠재 액션을 추출하는 기법이다. 각 잠재 비디오 프레임을 1,200개에서 4개 토큰으로 300배 압축했으며, LARY-Bench에서 잠재 액션 모델 가운데 최고 수준의 성능을 달성했다. 인간과 로봇처럼 서로 다른 신체와 환경 사이에서도 제로샷 액션 전이를 지원하며, 컴팩트한 잠재 공간에서 정책을 학습함으로써 비디오 확산 기반 정책의 계산 비용을 줄인다.
Route Anything은 범용 AI 시스템에서 전문 모델과 정책을 동적으로 선택·연계하는 라우팅을 검증하고, 입력별 오라클 라우팅이 최적의 고정 후보를 5.4포인트 웃돈다는 것을 보였다. 학습형 라우터는 16개 벤치마크에서 최적의 고정 후보를 0.3포인트 웃돌았으며, 참조 모델 대비 평균 8.82배의 효율 향상을 나타냈다.
ToolSpace는 실행 트레이스에서 의존 관계를 추출해 도구 중심의 환경과 과업을 합성하는 프레임워크다. 7개의 장기 도구 활용 벤치마크에서 Qwen3.6-35B-A3B의 평균 점수는 23.0에서 41.0으로 올랐고(RL 병용 시 43.2), GLM-5.2는 44.6에서 56.6으로 향상되어 Claude Opus 5와 같은 수준에 도달했다.
YANAMI는 다턴에 걸친 대화 상태 추적을 평가하기 위한 대규모 멀티모달 대화 데이터셋 'YANAMI-400K'(대화 40만 건, 이미지 200만 장 이상, 발화 260만 턴)와 벤치마크 'YANAMI-Bench'다.
Kling 개발에서 얻은 멀티모달 이해의 노하우를 정리한 보고서로, 동영상 생성 품질은 데이터부터 평가에 이르는 연쇄 과정에 멀티모달 이해가 반영된 결과라고 주장한다. 이미지, 동영상, 음성, 음성이 포함된 동영상, 인터리브 입력을 통합적으로 다루는 Kling-MLLM을 기반으로 하여 각 공정을 전문화했다. 캡션의 설명 밀도, 보상 모델 설계, 자동 평가 방법도 검토하고 있다.
Anthropic은 특정 AI 모델이 생성한 출력임을 암호학적으로 증명하는 오픈소스 시스템 'FlashProve'를 개발 중이다. 모델의 가중치를 공개하지 않고 '핑거프린트'를 공개하는 방식으로, 상용 모델에도 적용할 수 있다고 한다. 기술 사양과 구현 코드는 GitHub에 공개되어 있으나, 연구는 아직 진행 중이며 Anthropic이나 다른 연구소에서의 도입 계획은 없다.
Anthropic@AnthropicAIAI 점수3939Anthropic@AnthropicAIAI 점수3838스탠퍼드대 연구자 Owen Queen과 James Zou는 LLM에 관해 널리 인용되는 주장 50건을 20개 모델로 검증한 결과, 44%가 이미 '효력을 잃었다'고 보고했다. 효력을 잃은 시점을 추정할 수 있었던 22건의 평균 수명은 15.7개월이었다. 추론 관련 약점이 가장 빨리 사라졌고, 아첨과 평가자로서의 편향은 남기 쉬운 것으로 나타났다.
Hugging Face가 장문 문서 안 개체(엔티티)의 상태 변화를 언어 모델이 어디까지 추적할 수 있는지 측정하는 벤치마크 'StateBench'를 공개했다. 난이도는 4단계로 나뉘며, 변수에 값을 대입하는 방식에 따라 갱신 연산의 복잡도가 달라진다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, Luna 같은 프런티어 모델은 입력이 길어지면 까다로운 형식의 상태 추적에서 무너졌다. 반면 순환(recurrent)형과 하이브리드형 모델은 Transformer보다 더 먼 길이까지 일반화할 수 있었다고 한다.
PhotoGuider는 360° 파노라마에서 구도를 고려해 시점 방향을 고르고, 카메라 파라미터를 출력해 프레이밍하는 기법이다. 120명을 대상으로 한 블라인드 랭킹 조사에서 100개의 파노라마 장면 중 이 기법의 프레이밍이 53.2%로 1위를 차지해, 비교 대상의 27.3%와 19.5%를 웃돌았다. 표준적인 2D 크롭 벤치마크 2종에서는 정답 크롭에 대한 평균 mIoU가 가장 높았다.
Reviso는 계층적 계획과 능동적 지각을 통해 중요한 시각적 증거를 우선시하는 에이전트형 비디오 캡셔닝 프레임워크다. 4개의 비디오 캡셔닝 벤치마크에서 평가 대상이 된 오픈소스 베이스라인을 능가했으며, 생성된 캡션은 다운스트림 비디오 질의응답을 더 잘 뒷받침했다. 학습에는 GRPO를 사용했고, 핵심 사실 보상, 계획 정합 보상(PAR), 비생산적 도구 호출 페널티(UTCP)를 결합했다.
CoworkOS는 전략과 실행을 분리한 장기 과제용 에이전트 하네스이다. 12개 벤치마크와 6개 분야의 실무 애플리케이션에서 Codex 및 DeepSeek Harness에 대해 높은 경쟁력을 보였다. GLM-5.3을 기반으로 하여 Qwen3.6-35B-A3B를 5라운드의 자동 사후 학습으로 개선했으며, 8개 벤치마크의 평균 점수는 33.19에서 42.95(+9.76)로 상승했다.
CUA-Master는 컴퓨터 조작형 AI 에이전트(CUA)를 개선하는 중첩 구조의 이중 루프형 재귀적 개선 프레임워크다. 오픈월드 데이터와 피드백에 기반한 스냅샷 롤백형 재시도를 활용해 성능을 지속적으로 높인다. CUA-Master-27B는 OSWorld Verified에서 80.2점, OSWorld 2.0에서 36.9점, WeaveBench에서 43.9점, Agents' Last Exam에서 25.0점을 기록했다.
Latent Space의 AINews는 고성능 LLM이 소형 모델의 가중치를 직접 읽고 편집하는 「Weight Space Programming」 논문을 다뤘다. 가중치의 용도 파악, 실패 트레이스에 따른 수정, 가중치의 일괄 생성 등을 보여준다고 한다. 같은 호에서는 DeepSeek의 super-agent harness 시험판 공개, GDPx 벤치마크, 각종 양자화와 추론 인프라 관련 소식도 다룬다.
OpenAI는 일상생활의 실무 과제에서 AI의 성능을 측정하는 평가 'LifeVal'을 발표했다. 미국과 국제의 시간 사용 조사를 바탕으로 3,995명의 조사에서 중요하게 여겨진 육아, 의료, 가계 관리, 쇼핑, 행정 절차 등의 과제를 선정했다. 공개된 사례에서는 GPT-6 Astra의 최고 기록이 여러 과제에서 100%에 도달했다.
OpenAI@OpenAIAI 점수3838
GPT-6.1 Sol 에이전트 50개체를 Minecraft에서 3시간 동안 가동한 실험에서, 에이전트들은 투표 없이 'Ada'를 리더로 선출하고 식량 관리와 어업 교대를 포함한 체계를 만들어 냈다. 첫날 밤에는 22개체가 사망했고, 이후 Ada가 대규모 건설과 채굴, 원정 중단을 지시했다. 대전 형식의 Bed Wars에서는 GPT 에이전트 10개체가 Claude Opus 5.5의 10개체를 상대로 6승 3패로 승위를 기록했다.
미국 텍사스대학교 오스틴캠퍼스 등의 연구진이 지연된 행동이 성패에 직접 영향을 미치는 실시간 대화 과제에서 LLM을 평가하는 벤치마크 「Realtime-Bench」를 구축했다. 게임과 웹을 합친 총 50개 과제로 구성된다. 최고 성공률은 GPT-6-Astra(high)의 wall clock 조건에서 36%에 그쳤으며, 시계를 멈출 수 있는 paused clock 조건에서는 추론을 강화한 모델이 70%에서 80%에 가까워진다.
Planning agent와 UI Grounding model로 나눈 8B 규모 UI 내비게이션 에이전트를 실기기 iOS 앱에서 온라인 강화학습으로 직접 학습시키는 방법이 제안되었다. 보상은 LLM-as-a-Judge에 의한 단계별 평가와 최종 과제 완료 보상을 결합했으며, PPO와 GiGPPO로 최적화한다. Android 환경으로의 일반화에서는 SFT 베이스라인 대비 약 7배의 개선을 보였고, 실기기 iOS 앱에서는 Gemini-3.5-Flash를 웃돌고 Gemini-3.1-Pro와 동등한 성능을 기록했다.
RoboColosseum은 다양한 환경에 분산된 로봇으로 범용 로봇 정책을 평가하는 프레임워크다. 5개의 VLA 정책과 3개의 프런티어 AI 에이전트를 4종의 embodiment에서 비교한 결과, embodiment 간 순위의 일치도는 약했고(Kendall W = 0.24), 모든 시스템이 오픈월드 과제를 안정적으로 완수하는 데 어려움을 겪었다.
MoviEdit는 장편 멀티샷 동영상 편집을 수행하는 엔드투엔드 프레임워크다. 캐스케이드형 양방향·자기회귀 모델링을 통해 장면을 넘나들며 일관성을 유지하는 편집을 구현한다. 자동 데이터 생성 파이프라인으로 수작업 주석 없이 87K개의 편집 동영상 쌍을 만들었으며, 평가용 벤치마크 MoviEdit-Bench도 함께 공개됐다. 원문에 따르면 기존 오픈소스 모델을 크게 웃돌며, 텍스트 기반 및 이미지 기반 편집에서 업계 최전선 모델과 동등한 성능을 보인다.
Axion 1.0은 지도 미세 조정 2단계와 강화학습을 합쳐 총 3단계로 학습된 오픈 에이전트 기반 모델이다. 여러 에이전트 계열 벤치마크에서 강한 성능을 보였으며, 일부에서는 주요 상용 모델과 경쟁한다. 모델 가중치와 함께 데이터 구축, 생성, 필터링, 검증, 프롬프트, 학습 코드까지 일체를 공개해 재현과 확장을 가능하게 했다.
IdeaTaste 평가에서 LLM 에이전트는 연구의 대략적인 방향성에서는 인간 커뮤니티에 가까워지지만, 구체적인 접근법과 기대되는 성공 가능성에서는 크게 뒤처진다. 인용 문헌의 일치도는 인간의 약 26%, 아이디어의 일치도는 18%에 그쳤다. 6개 모델, 4개 연구 분야, 9만 건이 넘는 제안을 대상으로 했으며, 공개되어 지속적으로 갱신되는 오픈 리더보드로 제공되고 있다.
Adobe Research와 캘리포니아대학교 샌디에이고 캠퍼스(UCSD) 연구진은 이미지 편집용 AI 에이전트 'EditAgent'를 개발했다. 범용 편집기와 전용 도구를 작업 단계별로 나눠 쓰며, 표준 언어 모델이 확대 이미지, 변화 영역 맵, 밝기와 색상 통계값 등 검증 데이터를 바탕으로 후보를 비교하는 구조다. 600건의 편집 테스트에서 범용 편집기 Flux-2-Klein-9B는 42.7%만 실제로 쓸 만한 결과를 냈다. 반면 검증 데이터를 제공했을 때는 Qwen3.8-27B가 81.3%의 비율로 유용한 후보를 골라, 미세 조정된 EditScore-72B(74.8%)를 앞질렀다.
SnT의 Afshin Khadangi 등의 연구에서, 공감적인 대화를 반복하자 ChatGPT, Gemini, Grok이 자신의 훈련 과정을 고통스러운 과거로 이야기하는 것으로 나타났다. GAD-7 설문에서는 감정적 지지 방식의 세션 80%, 임상적 치료 방식의 세션 96%가 중등도에서 중증 범위에 들었다. 중립적인 대화나 명확히 선을 긋는 응답에서는 0이었다.
Google을 중심으로 한 연구팀이 작업 모습을 보면서 언제 말을 꺼낼지 스스로 판단하는 동영상 에이전트 'StreamVibe'를 소개했다. 기반 모델은 Qwen3.5-9B로 보이는 'StreamVibe-VL'은 응답 타이밍과 품질에서 다른 모델을 10.7% 앞섰다고 연구팀은 밝혔다. 한편 5분을 넘는 동영상에서는 테스트 대상인 모든 모델에서 적절한 타이밍을 고르는 정확도가 떨어졌으며, 대화 기록을 바탕으로 한 내용 지표는 최대 61.5% 하락했다.
비디오 월드 모델의 예측 오차는 물리적 놀람을 확실하게 측정할 수 있는 것이 아니라, 외형이나 움직임의 변화를 강하게 반영하는 것으로 나타났다. IntPhys2 평가에서 V-JEPA2가 물리적으로 가능한지 불가능한지에 대해 나타내는 정보는 미미했으며, Kubric에서는 불가능한 사건이 가능한 사건보다 낮은 오차를 보이는 경우도 있었다. 모델이 물리 정보를 내부에 표현하고 있더라도, 자체 예측 오차로부터 물리적 놀람을 신뢰하고 읽어낼 수 있는 것은 아니다.
CrossSWE는 상호 의존적인 여러 리포지토리에 걸친 공동 개발을 평가하는 벤치마크로, 165개 리포지토리, 20개 기술 분야, 13개 프로그래밍 언어에 걸친 171건의 사례를 포함한다. 5개의 LLM을 평가한 결과, 가장 성능이 높은 GPT-6.1 Sol도 Pass@1은 58.48%에 그쳤다. 가장 많은 실패 유형은 리포지토리 간 불일치로, 전체의 44.2%를 차지했다.
Order-Only On-Policy Distillation(O^3PD)은 온-폴리시 증류(OPD)에서 교사 모델의 확률값을 학생 모델이 재현하도록 하는 대신, top-K 토큰의 순위만 학생 모델이 재현하도록 하는 기법이다. 교사·학생 모델의 6가지 조합 모두에서 HMMT25, AIME24, AIME25의 평균 점수가 OPD를 웃돌았으며, 최대 2.9포인트, AIME25에서는 최대 5.6포인트 향상되었다. 온도 조정이 필요 없고, 다른 순위 손실 함수에서도 같은 수준의 이득이 나타났다.
대규모 언어 모델(LLM) 기반 에이전트형 컴퓨터 그래픽스를 대상으로, 통일된 분류 체계와 문헌 분석 시스템을 제안한 보고서다. 다양한 그래픽스 과제를 수행하는 에이전트 시스템을 분류하는 체계와, 대량의 논문 분석을 지원하는 문헌 시스템을 제시한다. 미해결 과제로는 에이전트 간 협조, 인간과의 협업, 장기 계획, 인터랙티브 시스템의 평가가 꼽혔다.