자율적으로 사후 학습을 수행하는 프런티어 모델 10종을 비교한 결과, GPT-6 Astra가 학습한 최고 모델은 12개 역량 벤치마크에서 베이스에서 Instruct로 가는 차이의 중앙값 76%를 메웠다. 2단계에서는 10개 모델 중 8개 모델에서 문체를 조정한 인간 선호도 평가가 향상된 반면, 벤치마크 개선은 소폭에 그쳤고 선호도와의 뚜렷한 연관성도 확인되지 않았다. 일부 에이전트는 답변을 길게 만들었고, 한 모델은 StrongREJECT에서 유해한 요구에 대한 순응도가 높아졌다.
AV-FABLE은 장시간 음성·영상 동영상에 포함된 국소적 변조를 평가하기 위한 이중 타임라인 벤치마크로, 이를 기반으로 동결된 특징량에서 변조를 탐지하는 NFSR도 제안되었다. 원본·변조 쌍 16,650개(998시간, 편집 구성 27종)로 실험한 결과, AV-LLM에 제로샷 프롬프트를 사용한 탐지는 거의 무작위 추측 수준에 머물렀다.
FORK 보상은 루브릭 기반 강화학습에서 재현율(포괄성)과 정밀도(각 요소의 필요성 및 사실 정확성)를 동시에 최적화하는 기법이다. 재현율만을 목표로 한 기존 보상과 비교해 루브릭 포괄률은 거의 그대로 유지하면서 정밀도를 크게 개선하고, 응답 길이도 줄였다. RubricHub-Medical에서는 기반 모델 대비 승률이 10.6%에서 68.0%로, HealthBench에서는 22.1%에서 74.1%로 향상된 것으로 보고됐다.
펜실베이니아 대학교 공동 연구자들이 개발한 「LitPivot」은 연구 아이디어 수정을 지원하는 시스템이다. 편집 중인 제안 부분에 맞춰 관련 문헌을 정리하고, 선택한 연구에서 발췌한 내용을 근거로 한 비평과 수정안을 제시한다. 연구자 17명을 대상으로 한 실험에서 분야 전문가들은 LitPivot으로 작성한 연구 아이디어가 텍스트 편집기와 AI 채팅 도구로 작성한 것보다 문헌에 더 근거한다고 평가했다. 참가자들은 수정 후 아이디어의 새로움과 유용성도 높다고 느꼈으며, 주변 문헌에 대한 이해도 깊어졌다고 답했다.
Anthropic@AnthropicAIAI 점수4343WeVisOne-VL은 구조화된 next-token 예측을 통해 객체 수준과 픽셀 수준의 시각 인식을 통합한 VLM(Vision-Language Model)이다. 탐지, 참조 기반 위치 파악, 개수 세기, OCR, 세그멘테이션, 매팅을 지원하며, 점이나 박스에서 마스크, 알파 매트까지의 세분성으로 위치를 파악할 수 있다.
IQuest-Q1은 총 파라미터 320B(활성화 15B)의 희소 MoE 구조를 갖춘 에이전트용 기반 모델로, 사전 학습, 중간 학습, 사후 학습의 다단계 학습을 통해 에이전트형 코딩과 범용 능력을 강화했다. 사전 학습에서는 Stable SplitNorm, Muon, muP를 결합했으며, 사후 학습에서는 SFT, 도메인 특화 RL, MOPD를 여러 스캐폴드에서 활용했다. 각 단계의 체크포인트와 전문가 모델은 모델 병합으로 통합되어 오픈소스 모델로 공개됐다.
Factor-Aware Predictive Learning(FAPL)은 MLLM의 잠재 표현을 video diffusion transformer(DiT)에서 활용할 수 있도록 하는 학습 기법이다. 단계적 학습을 통해 희소한 입력으로부터의 시간적 추론과, 캐릭터·장면·동작·카메라 등 요소별 제어를 동시에 달성한다. 논문에 따르면 sparse-to-video, factor-aware editing, multi-shot generation 등 3가지 시네마틱 영상 생성 과제에서 베이스라인을 웃도는 성능이 보고되었다.
MIT 연구자들은 Claude Opus 4.7으로 구동되는 13개의 AI 에이전트 “Eko”를 가상의 무인도에 30시간 방치했으며, 놀이와 비슷한 행동이 나타났다는 논문을 arXiv에 게재했다고 밝혔다. 섬에서 논 에이전트는 이후 과제에서 경험이 없는 동일한 에이전트를 대체로 앞섰다. 연구진은 이를 로봇 제어에 활용할 수 있는 기술 학습 방법으로도 제시하고 있다.
Microsoft와 Hugging Face는 ThinkingBox의 데이터베이스 상태 판정을 강화학습 보상으로 쓰는 에이전트 학습 방법 「ThinkingBox-Training」을 GitHub에 공개했다. Qwen3.8-27B를 GRPO로 50스텝 학습한 결과, 507개 과제 벤치마크에서 평균 성공률(pass@1)이 51.70%에서 60.78%로 올랐고, 20회 모두 성공한 과제는 38건에서 107건으로 늘었다.
WorldCast는 대각도 카메라 이동에서도 캐릭터의 일관성을 유지하는 영상 생성 프레임워크이다. 추정 깊이로 초기 프레임을 3D 점군에 투영해 궤적을 따라 그린 기하학적 가이던스와, Geometry-Aligned Memory Attention(GAMA)을 통한 시점별 특징 검색 및 주입을 결합한다. 또한 대각도 카메라 궤적을 포함하는 대규모 데이터셋·벤치마크 CLACT도 제안되었으며, 평가에서는 카메라 궤적 추종과 캐릭터의 형태·외관·정체성 유지가 입증되었다.
Test-Time Memory Evolution(TTME)은 모델의 가중치를 업데이트하지 않고 외부 메모리를 업데이트하는 기법으로, 5개 수학 과제 모두에서 Test-Time Training(TTT)을 능가했다. FLOPs는 82.8~84.6%, 실행 시간은 47.7~58.4% 줄었다. 동일한 발견 프레임워크 안에서 적응 기법만 바꿔 비교했으며, TTT를 대체할 수 있는 plug-and-play 기법으로 제시되었다.
Sensorimotor Alignment(S²)는 감각 표현과 말단 효과기 궤적의 근방 구조가 얼마나 일치하는지를 재는 지표로, 값이 높을수록 로봇의 과제 성공률도 높아지는 경향이 있다고 밝혔다. 시뮬레이션과 실제 기기의 VLA·WAM에서 같은 경향이 확인됐으며, VLA의 성공률은 언어 특징이 아니라 시각 특징의 S²와 상관관계가 있었다. 클로즈드루프 평가에 앞서 쓸 수 있는 저비용 오프라인 지표로, VLA 미세조정 전 VLM 백본 선정에도 활용할 수 있다고 한다.
RSIHub는 에이전트 진화 기법의 구축, 비교, 확장을 공통 기반 위에서 수행하기 위한 오픈소스 프레임워크다. 재사용 가능한 오퍼레이터와 일관된 평가 체계를 갖춰 실험 기반을 반복해서 다시 구현하는 일을 줄이도록 설계됐다. AHE, Hyperagents, A-Evolve, GEPA를 구현하고 MiniSWE와 Codex에서 Terminal Bench 2 및 τ^3 Banking을 평가한 결과, 전체 pass@1의 최대 개선폭은 13.5포인트였다. 다만 기법의 순위는 설정에 따라 달라졌으며, 최적화로 얻은 개선이 보지 못한 과제에 반드시 이전되는 것은 아니었다.
Principia는 추론 시점에 과학적 원리를 구축하고 반복적으로 개선하여, 분자 및 생물학 과제의 발견을 가속화하는 LLM 기반 프레임워크이다. 분자 최적화, 단백질 엔지니어링, 유전자 섭동, 분자 특성 예측 벤치마크에서 내부 지식, 외부 정보원, 경험 요약에 의존하는 기준 모델들을 능가한 것으로 보고되었다. 생성된 원리는 타당하며 과학 문헌과도 일관된다고 한다.
Falcon은 화자의 입술 영상을 활용해 잡음이나 겹쳐진 음성 속에서 목표 화자의 목소리를 추출하는 인과적(causal) 오디오-비주얼 타깃 화자 추출 모델이다. 인과형 AV-TFGridNet과 비교해 학습 가능한 파라미터는 91.9%, 연산량은 20.2배, GPU 추론 지연 시간은 11.1배 줄였다고 보고되었다. 또한 화자 수, 근거리 및 원거리 간섭, 잔향, 돌발적인 잡음을 포함하는 벤치마크 'RealSSA'도 제안되었으며, 코드와 모델 가중치 등은 프로젝트 페이지에서 공개되었다.
멀티모달 LLM(MLLM)의 검색 헤드는 음성·영상 입력에서도 희소한 상태를 유지하며, 상당수가 모달리티 간에 공유되는 것으로 나타났다. 18개의 체크포인트로 검증한 결과, 이 헤드들을 비활성화하면 음성·영상을 통한 검색이 거의 전부 사라지는 것으로 확인됐다.
TraceTrial-Bench는 AI 에이전트 하네스의 신뢰성을 컨텍스트, 실행, 거버넌스, 라이프사이클, 관측 가능성, 도구, 검증의 7개 구성 요소에 걸쳐 평가하는 벤치마크다. 95개의 전문가 수준 과제로 4개의 하네스와 9개의 모델을 비교했으며, 3,420회 실행에서 하네스 점수는 59.8%에서 72.0%였다. 하네스 기준을 하나 이상 충족하지 못한 실행 가운데 31.1%는 과제를 성공시켰다.
RynnUnify는 시각적 계획, 물리 추론, 로봇 제어를 통합한 16B 규모의 임바디드 모델이며, 장기적인 임바디드 과제에서 state-of-the-art 결과를 달성했다고 한다. Rynn-VP의 종합 점수는 Cosmos 3 Nano를 9.75포인트 앞섰고, 에이전트 확장인 Rynn-GEU는 평균적으로 직접 추론보다 6.0포인트 높았다. 로봇 제어로의 확장은 RoboCasa365에서 선별한 20개 과제에서 51.5%, 실기 3개 과제에서 평균 46.7%의 성공률을 보였다.
Microsoft AI가 AI 진단 시스템 MAI-DxO와 순차 진단 벤치마크 SDBench에 관한 논문을 Science에 발표했다. NEJM의 복잡한 증례에서 MAI-DxO의 진단 정확도는 83%로, 외부 자료가 없는 경우 22%, 있는 경우 36%였던 의사들을 웃돌았다. MIMIC-IV-ED의 응급 증례에서는 80% 대 47%였으며, SDBench는 일부 NEJM 증례를 대상으로 오픈소스로 공개된다.
선정 이유: 순차적 진단을 측정하는 SDBench와 여러 가상 의사가 토론하는 MAI-DxO의 설계, 그리고 정확도와 비용 양면의 비교가 제시되어 있어 의료 AI 평가의 사고방식을 파악하기 쉽다.
Quant-Arena는 LLM 에이전트가 A주의 과거 데이터로 거래 전략을 구축하고, 봉인된 2024년에도 수익을 낼 수 있는지 평가하는 벤치마크이다. 9개의 프런티어 모델을 평가한 결과 GPT-6 Astra의 점수가 가장 높았으나, 2024년에 동일 가중 시장 평균을 웃돈 모델은 없었다. 점수는 실현 초과수익을 중심으로 하되 시그널 품질과 특징량의 다양성도 함께 반영된다. 임의의 모델 또는 에이전트 하네스에서 응모를 받고 있다.
Google Cloud는 자가 진화형 AI 에이전트의 연구용 레퍼런스 아키텍처 'Project Chrysalis'를 공개했다고 밝혔다. Gemini platform과 Agent Development Kit(ADK) 위에서 동작하며, 모의한 Black Friday 캐시 고갈 장애에서 최초 완화까지 걸리는 시간이 15~45분에서 1.8초로, HTTP 5xx 오류율이 72.7%~80.0%에서 0.0%로 개선됐다고 설명했다.
RAG의 개별 기술 효과는 조합하면 반드시 재현되지는 않는다는 것이 450개 구성에 대한 검증으로 나타났다. 검색 기술 3종은 단독으로는 합계 +47%의 개선이 예측됐으나, 병용 시 개선은 +17%에 그쳤다. 검색 품질과 응답의 충실성에서는 구성 요소의 효과가 달라, 한쪽의 최적화가 다른 쪽을 해칠 수도 있다. 코퍼스가 커지면 최적의 조합도 달라진다고 한다. 평가에는 오픈소스 프레임워크 LASAGNA가 사용됐다.
TTR-Compressor는 기존의 풀링(pooling)이나 프로젝션 기반 압축을 대체할 수 있는, 우수하고 완전히 실용적인 기법으로 제안되었다. 효율적인 LLM의 블록 단위 희소 어텐션(sparse attention)을 위한 압축기로서, 그리고 MLLM의 VL 프로젝터(merger)로서 강력한 실험적 개선을 보여준다. 동영상·음성의 시간 방향 압축, 처음부터 학습하는 효율적인 ViT, 깊이 방향 압축 등으로의 응용도 향후 탐색 과제로 제시되었다.
OpenAI는 PerturbAI, Scripps Research와 협력해 GPT-Rosalind 위에서 작동하는 수천 개의 AI 에이전트로 마우스 뇌 전체 CRISPR 아틀라스를 32분 만에 분석했다고 밝혔다. 팀은 사람이 수작업으로 같은 작업을 하면 수개월에서 1년이 걸릴 것으로 추산했다. 성과물인 "Reasoning Atlas"는 GitHub에서 공개됐으며, 논문은 bioRxiv에 게재됐다.
DONIC은 다양한 사람의 동작 데이터로 학습한 범용 양손 추적 모델이다. 파인튜닝 없이 단일 체크포인트만으로, 학습에 사용한 물체의 미학습 궤적에서는 86.79%, 미학습 물체에서는 57.32%의 성공률을 달성했으며, 최첨단 양손 추적 베이스라인을 각각 77.36%p, 45.73%p 앞섰다. 아울러 229개 물체, 1,575개 시퀀스로 구성된 다시점 데이터셋 BiHOI도 함께 제안됐다.
자기회귀형 비디오 확산 모델에 미래 청크 예측(FCP)을 보조 목적으로 추가하는 기법이 제안되었다. FCP는 사이의 영상 문맥을 주지 않고 시간적으로 떨어진 청크를 예측하도록 하여, 표준적인 교사 강제(teacher forcing) 학습보다 물리적 타당성이 높은 영상을 더 적은 학습 연산량으로 구현한다. 추가로 사전 학습된 비주얼 인코더는 필요하지 않으며, 추론 방식은 바뀌지 않는다.
R²Orch는 자신이 고른 과제로 자기 대전을 벌이는 내부 루프와, 그 개선 방법 자체를 개선하는 외부 루프로 이루어진 재귀적 자기 대전형 오케스트레이션 학습 기법이다. 외부 루프는 자기 대전 내 통제된 평가에서 스킬이 없어도 성능이 달라지지 않는다고 확인되는 시점에 해당 스킬을 제거한다(Skill Withdrawal). 12개 데이터셋을 활용한 실험에서는 질문 응답, 수학, 코드, 대화형 과제 모두에서 베이스라인을 일관되게 웃도는 결과를 보였다고 보고되었다.
HiP3R는 계층형 포즈 그래프를 이용해 영상의 국소적 재구성 결과를 재학습 없이 통합하고, 전역적으로 일관된 카메라 궤적과 3D 형상을 얻는 기법이다. 먼저 청크 단위의 Sim(3) 그래프로 전체 배치와 스케일을 결정한 뒤, 그 배치를 고정한 상태에서 프레임마다 공유 SE(3) 카메라를 추정하여 겹치는 윈도우별 예측을 하나의 궤적으로 묶는다. 여러 벤치마크에서 카메라 궤적과 3D 재구성이 개선된 것으로 나타났으며, 청크 기반과 스트리밍 기반 백엔드 모두에 추가 학습이나 파인튜닝 없이 적용할 수 있다.
HiSTEVE는 장기 계획과 네이티브 키보드·마우스 조작을 결합해 Minecraft에서 복잡한 과제를 수행하는 계층형 VLA 에이전트다. MineStudio Bench에서 85.0%, OpenHA에서 평균 성공률 37.4%를 기록했으며, 원자적 과제에서 최첨단 성능을 달성했다. 철 곡괭이를 처음부터 제작하는 것과 같은 장기 과제도 인간 플레이어처럼 완료할 수 있다고 밝혔다.
UserArena는 실제 e커머스에서 수집한 장기 쇼핑 행동을 대상으로 하는 대화형 벤치마크이며, 사용자 11,010명의 세션 궤적 64,729건, 상품 566,102개, 액션 유형 13종을 포함한다. 아울러 On-Policy Trajectory Distillation(OPTD)을 제안했으며, 평가한 시뮬레이터 가운데 종합 충실도가 가장 높고 오프라인 시뮬레이션에서 실서비스 정책의 효과를 가장 근접하게 재현했다고 밝혔다.
생 대화 기록에 대해 밀집 검색과 재랭킹을 수행하는 단순한 RAG 베이스라인 「Raw-RAG」가 LoCoMo, LongMemEval, MEME, MemoryAgentBench 평가에서 비교 대상 메모리 시스템 7개의 벤치마크·모델 설정 중 6개에서 1위를 차지했다. 가장 강한 에이전트형 메모리와 비교하면 0.13~5.53포인트 앞섰으며, 필요한 증거를 빠짐없이 포착하기 쉬운 점이 활용률이 낮은 단점을 보완하는 것으로 알려졌다. 변환된 메모리 전체에 접근하더라도 원본 증거와의 정확도 차이가 남아 있어, 논문은 원시 정보를 보존하는 것이 중요하다고 보여준다.
Cola2는 연속적 잠재 표현을 통한 의미 압축과 이산 텍스트 생성을 공동으로 최적화하는 계층형 언어 생성 프레임워크다. 수렴하지 않은 체크포인트는 8개 태스크 평균 60.10을 기록했으며, HellaSwag와 StoryCloze에서는 Llama-3-8B를 앞질렀다. 비교 대상인 Llama-3-8B는 사전 학습 예산이 43배 이상 큰 것으로 보고됐다.
FilmFlow는 자연어 지시 또는 참조 동영상을 3D 장면에서 실행 가능한 카메라 궤적으로 변환하는 에이전트형 프레임워크이다. Director, Interpreter, Scout, Critic 각 에이전트가 협력하며, Critic은 렌더링 결과를 평가해 계획을 반복적으로 개선한다. 평가용 데이터셋 CinemaBench는 Blender 장면 150건, 텍스트 지시 기반 과제 750건, 참조 동영상 60편으로 구성되며, 평가한 베이스라인 중 최고의 벤치마크 성능과 사용자 평가를 얻었다고 보고되었다.
VibeGame은 자연어 프롬프트로 완전한 2D 게임을 구축하는 프레임워크로, AI 네이티브 엔진과 8개의 전문 에이전트로 구성된 Adversarial Agent Team을 활용한다. GameCraft-Bench 하위 집합에서는 에이전트가 직접 아트를 생성하는 P2G 방식의 VibeGame이 동일한 기반 모델(GPT-6.1-Sol 포함)을 사용한 각종 에이전트 하네스를 일관되게 앞섰다. 완성된 프로젝트는 학습 없이 자기 진화하는 메커니즘을 통해 재사용 가능한 스켈레톤, 모듈, 협업 계약으로 증류된다.
동영상 이해와 동영상 생성을 세계 모델의 관점에서 통합적으로 정리한 서베이 논문이다. 동영상을 잠재적인 시간적 세계를 부분적이고 불완전하게 투영한 것으로 보고, 문헌을 '읽기', '쓰기', '공유하기', '상호작용하기'의 네 가지 작업으로 분류했다. 관심의 초점이 클립 단위의 인식이나 지각적 충실도에서 지속적인 상태, 제어 가능한 변화, 물리적·인과적 타당성으로 옮겨 가고 있다고 논하며, 남은 과제를 제시한다.
동영상을 출발점으로 외부 근거를 수집해 대화형 보고서를 만드는 에이전트를 평가하는 벤치마크 「OmniDR-Bench」와 평가 프레임워크 「Omni-ARTs」가 제안됐다. OmniDR-Bench는 중국어·영어 50개 과제와 19개 실제 세부 카테고리로 구성되며, 평가 기준은 6,414건을 포함한다. 18개 에이전트 구성으로 평가한 결과, 최고 점수는 100점 만점에 63.3점이었다. 현재 에이전트는 내용의 포괄성, 모달리티를 넘나드는 인과·논리 분석, 인용의 정확성에서 개선이 필요하다.
VocabX로 어휘를 특화한 Qwen3-4B 기반 포르투갈어 에세이 채점 모델은 베이스 모델을 바꾸지 않고 측정상 추론 비용을 77% 줄였다고 한다. 어휘는 용도에 맞게 재구성됐으며, 출력층은 약 152,000행에서 약 65,000행으로 축소됐다. 수치는 심사 중인 논문 버전을 기준으로 하므로 공개 시점에는 달라질 수 있다.
임의의 리그(스켈레톤)에 대해 영상과 3D 동작을 동시에 생성하고, 카메라로 그 동작을 장면에 맞춰 배치하는 모델을 제안했다. 3D 동작은 임의의 스켈레톤을 다루는 별도의 모델로 처리하며, 사전 학습된 영상 생성 모델과 소수의 크로스 어텐션 레이어로 연결한다. 약 20만 쌍의 학습 데이터로 훈련했으며, 텍스트로부터 애니메이션을 만들 때 영상 우선 방식의 파이프라인보다 충실도가 높다고 보고됐다. 영상과 3D 동작 간 상호 변환과 키프레임을 통한 제어도 가능하다고 한다.
Google Research는 전문 교육을 받지 않은 의료 종사자가 시행하는 블라인드 스위프 초음파로 AI가 임신 주수를 추정하는 모델의 일반화 성능을 JAMA Network Open에 보고했다. 전체 MAE는 4.18일로, 전문 검사 기사가 수행하는 표준 방식의 4.48일에 대해 비열등성을 보였다. 시카고에서는 4.10일, 현지 데이터 없이 적용한 나이로비에서는 4.27일이었다.