FactEmbed는 합성 이미지 검색(CIR)에서 질의 이해와 임베딩 구축을 분리하고, 검색 전에 목표 이미지의 시각적 변경을 시뮬레이션하는 factorized latents를 활용하는 기법이다. CIR 벤치마크 전반에서 기존 기법을 앞섰다고 평가되었다. 학습에서는 요인 단위의 contrastive loss를 최적화하는 한편, 분해된 표현을 MLLM의 더 깊은 attention 층으로 distill한다. 추론에서는 [EOS] 토큰에 의한 글로벌 임베딩과, 평균 풀링한 요인 표현에 의한 후보 리스트 재랭킹을 같은 forward pass에서 수행한다.
VidUEU-Agent는 원본 동영상으로부터 멀티모달 이해, 이미지 편집, 통합 과제를 위한 지시 데이터를 자동으로 구축하는 에이전트형 데이터 큐레이션 프레임워크다. 동일한 초기 체크포인트에서 BAGEL을 30K 샘플씩 미세 조정하는 4회의 반복을 수행하면, 3개의 피드백용 벤치마크 전반에서 성능이 향상된다. 또한 8,268개의 동영상에서 10만 건의 지시 샘플을 담은 VidUEU-100K 데이터셋도 구축되었다.
DreamX는 사전 학습된 비디오 확산 모델을 범용 잠재 액션 학습기로 전용해, 외형에 의존하지 않는 컴팩트한 잠재 액션을 추출하는 기법이다. 각 잠재 비디오 프레임을 1,200개에서 4개 토큰으로 300배 압축했으며, LARY-Bench에서 잠재 액션 모델 가운데 최고 수준의 성능을 달성했다. 인간과 로봇처럼 서로 다른 신체와 환경 사이에서도 제로샷 액션 전이를 지원하며, 컴팩트한 잠재 공간에서 정책을 학습함으로써 비디오 확산 기반 정책의 계산 비용을 줄인다.
Route Anything은 범용 AI 시스템에서 전문 모델과 정책을 동적으로 선택·연계하는 라우팅을 검증하고, 입력별 오라클 라우팅이 최적의 고정 후보를 5.4포인트 웃돈다는 것을 보였다. 학습형 라우터는 16개 벤치마크에서 최적의 고정 후보를 0.3포인트 웃돌았으며, 참조 모델 대비 평균 8.82배의 효율 향상을 나타냈다.
YANAMI는 다턴에 걸친 대화 상태 추적을 평가하기 위한 대규모 멀티모달 대화 데이터셋 'YANAMI-400K'(대화 40만 건, 이미지 200만 장 이상, 발화 260만 턴)와 벤치마크 'YANAMI-Bench'다.
Kling 개발에서 얻은 멀티모달 이해의 노하우를 정리한 보고서로, 동영상 생성 품질은 데이터부터 평가에 이르는 연쇄 과정에 멀티모달 이해가 반영된 결과라고 주장한다. 이미지, 동영상, 음성, 음성이 포함된 동영상, 인터리브 입력을 통합적으로 다루는 Kling-MLLM을 기반으로 하여 각 공정을 전문화했다. 캡션의 설명 밀도, 보상 모델 설계, 자동 평가 방법도 검토하고 있다.
PhotoGuider는 360° 파노라마에서 구도를 고려해 시점 방향을 고르고, 카메라 파라미터를 출력해 프레이밍하는 기법이다. 120명을 대상으로 한 블라인드 랭킹 조사에서 100개의 파노라마 장면 중 이 기법의 프레이밍이 53.2%로 1위를 차지해, 비교 대상의 27.3%와 19.5%를 웃돌았다. 표준적인 2D 크롭 벤치마크 2종에서는 정답 크롭에 대한 평균 mIoU가 가장 높았다.
GPT-6.1 Sol 에이전트 50개체를 Minecraft에서 3시간 동안 가동한 실험에서, 에이전트들은 투표 없이 'Ada'를 리더로 선출하고 식량 관리와 어업 교대를 포함한 체계를 만들어 냈다. 첫날 밤에는 22개체가 사망했고, 이후 Ada가 대규모 건설과 채굴, 원정 중단을 지시했다. 대전 형식의 Bed Wars에서는 GPT 에이전트 10개체가 Claude Opus 5.5의 10개체를 상대로 6승 3패로 승위를 기록했다.
Adobe Research와 캘리포니아대학교 샌디에이고 캠퍼스(UCSD) 연구진은 이미지 편집용 AI 에이전트 'EditAgent'를 개발했다. 범용 편집기와 전용 도구를 작업 단계별로 나눠 쓰며, 표준 언어 모델이 확대 이미지, 변화 영역 맵, 밝기와 색상 통계값 등 검증 데이터를 바탕으로 후보를 비교하는 구조다. 600건의 편집 테스트에서 범용 편집기 Flux-2-Klein-9B는 42.7%만 실제로 쓸 만한 결과를 냈다. 반면 검증 데이터를 제공했을 때는 Qwen3.8-27B가 81.3%의 비율로 유용한 후보를 골라, 미세 조정된 EditScore-72B(74.8%)를 앞질렀다.
Google을 중심으로 한 연구팀이 작업 모습을 보면서 언제 말을 꺼낼지 스스로 판단하는 동영상 에이전트 'StreamVibe'를 소개했다. 기반 모델은 Qwen3.5-9B로 보이는 'StreamVibe-VL'은 응답 타이밍과 품질에서 다른 모델을 10.7% 앞섰다고 연구팀은 밝혔다. 한편 5분을 넘는 동영상에서는 테스트 대상인 모든 모델에서 적절한 타이밍을 고르는 정확도가 떨어졌으며, 대화 기록을 바탕으로 한 내용 지표는 최대 61.5% 하락했다.
Youtu-Parsing-Omni는 문서, 이미지, 음성, 동영상을 시공간 기반의 구조화된 레코드로 변환하는 5B 규모의 옴니모달 파서다. OmniDocBench v1.6에서 Overall 96.96점을 기록했으며, 오픈 웨이트 모델 가운데 OmniParsingBench에서 Avg. 75.08점으로 1위에 올랐다. 코드와 모델 가중치는 공개되어 있다.
L3G-World는 잠재 3D 가우시안 메모리와 비디오 확산 트랜스포머(DiT)를 번갈아 자기회귀적으로 갱신하여, 공간적으로 일관된 대화형 세계를 실시간으로 생성하는 기법이다. 메모리는 새로 관측된 영역에 가우시안을 생성하고 기존 가우시안을 정제하므로, 메모리 규모는 스트림의 길이가 아니라 장면의 범위에 따라 늘어난다. 각 지표에서 가장 효율적인 기존 3D 메모리 기법과 비교하면, 3D 프리미티브는 최대 38.6분의 1로 줄고, 메모리 갱신은 3.2배, 메모리 렌더링은 359배 빨라져 9 FPS의 실시간 생성이 가능해진다.
LARC는 통합형 멀티모달 모델(UMM)의 이미지 생성에서 이산 토큰이 아니라 연속적인 은닉 상태 위에서 추론을 수행하는 잠재 추론 프레임워크이다. GenEval에서는 BAGEN을 7%p 웃도는 state-of-the-art를 달성했으며, 병렬과 순차 모두의 테스트 시점 스케일링에서도 토큰 기반 생성을 능가한다고 보고되었다. 학습은 커리큘럼 지도 파인튜닝(SFT)과 정답 데이터를 사용하지 않는 정보 이득 강화학습(RL)의 2단계로 구성된다.
동영상 생성과 월드 모델을 계획, 도구 활용, 상태 관리를 담당하는 실행 기반인 '에이전트 하네스'로 통합하는 방향성을 정리한 보고서다. 에이전트형 동영상 생성, 에이전트형 월드 모델링, 동영상 모델 개발에서의 재귀적 자기 개선이라는 세 가지를 검토한다. 음성과 영상의 인지, 장기 계획, 메모리, 스킬 재사용, 다중 에이전트 협업을 필요한 능력으로 제시하고, 자율적 영상 제작, 출처 추적(provenance), 비용 계산, 평가 등의 과제도 짚는다.
Wizard는 캐릭터 애니메이션, 장면 조작, 게임 로직을 영상 생성과 분리하고, 에이전트형 제어를 통해 게임 세계를 실시간으로 조작하는 기법이다. 750개 장면과 178개 캐릭터에 걸친 50.3시간 분량의 대응되는 프록시-영상 쌍을 구축했으며, 인과적 적응과 소수 단계 증류를 통해 24 FPS에서의 조작을 구현했다. 또한 본 적 없는 장면, 캐릭터, 동작에 대한 제로샷 일반화 성능도 보여준다.
EvidenceConnect는 단일 이미지 안의 관련 영역을 확대해 보여주는 방식으로, 비교·집계·연쇄 추론이 필요한 질문을 합성하는 데이터 합성 프레임워크다. 이를 이용해 RLVR로 학습한 ZwZ2는 벤치마크에 맞춰 조정하지 않은 합성 데이터로도 세밀한 지각과 공간 지각이 향상되었으며, 엠바디드 AI의 공간 추론, 멀티모달 장문맥 이해, 멀티모달 에이전트 작업, 일반 시각 추론에서도 개선이 나타난 것으로 알려졌다. Hugging Face에는 inclusionAI/ZwZ2-27B, ZwZ2-9B, ZwZ2-4B의 모델 페이지가 올라와 있다.
코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.
Factorized Vector Quantization은 상호 보완적인 특징 뷰를 병렬 코드북으로 양자화하여, 이산 시각 토큰을 멀티모달 이해에서 연속 표현에 근접한 성능으로 끌어올리는 기법이다. 양자화 오차가 커도 이해 성능이 높은 경우가 있으며, 성능을 좌우하는 것은 이산 인덱스의 실효 비트 예산이라고 제시하고 있다. 산업 규모의 데이터로 학습한 모델은 9개 지표 평균에서 UniAR를 22.8%, Emu3-Chat을 59.2% 앞섰으며, 저자들이 아는 한 Qwen3-VL 등과 경쟁하는 이산 표현 모델로는 처음이라고 밝히고 있다.
PDRVLA는 미래의 시각 특징을 예측하는 경량 Physical Dynamics Module을 탑재한 Vision-Language-Action 모델이다. 온라인 동영상 생성을 하지 않아 지연을 피하면서, 4개의 시뮬레이션 벤치마크에서 LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%의 성공률을 달성했다.
실행 가능한 코드를 동영상 캡션으로 활용하면 자연어보다 질의응답의 추론 정확도와 영상 재구성의 충실도가 높아지는 것으로 나타났다. 이를 검증하기 위해 구조화된 2D 콘텐츠 동영상 323편을 5개 카테고리로 나누고, 상세한 주석과 다단계 평가 프레임워크를 갖춘 CodeCap-Bench를 제안했다. 주요 상용 MLLM은 유망한 코드 캡션 능력을 보였으나, 복잡한 시간적 변화를 포착하는 데에는 여전히 과제가 남아 있으며 오픈소스 모델은 크게 뒤처지는 것으로 나타났다.
Hy-Nomas는 8B 확산 백본을 갖춘 영상 월드 모델로, 여러 턴에 걸친 자유 서술 텍스트 지시와 연속 카메라 제어를 지원한다. 인과적 어텐션과 구조화된 캡션으로 대화 이력을 유지하며, 행동 지시는 의도한 시간 구간으로 한정한다. 인간 평가에서 기존 월드 모델을 앞섰으며, 모델 가중치, 코드, 벤치마크를 공개했다.
StreamVibe는 암묵적이고 변화하는 사용자 의도에 능동적으로 응답하기 위해 벤치마크 「StreamVibe-Bench」, 스트리밍형 시각언어모델 「StreamVibe-VL」, 계층형 메모리 「StreamVibe-Harness」를 제안했다. StreamVibe-VL은 범용 동영상 이해 능력을 유지하면서 응답 타이밍과 답변 품질을 다른 베이스라인보다 10.7% 향상시킨다. StreamVibe-Harness는 능동적 상호작용에서 12.3%의 개선을 가져온다.
LOWN은 확산형 비전-언어 모델(DVLM)의 디코딩에서, 이미지 없이 한 예측이 직전의 이미지 포함 예측과 일치하면 이미지 처리를 생략하는 기법이다. LLaDA-V에서 10개 벤치마크 점수의 99.6%를 유지하면서도 디코딩 FLOPs는 평균 35.3%로 줄였다. 학습이나 임계값 조정이 필요 없으며, LLaDA 계열 DVLM에도 적용할 수 있다. 시각 토큰 가지치기와 함께 쓸 수 있고, KV 캐시 환경에서도 동작한다.
EmbeddingGemma 2는 텍스트, 이미지, 오디오, 비디오 및 이들의 조합을 하나의 통합 공간에서 표현하는 오픈 멀티모달 임베딩 모델이다. 논문에 따르면 모든 모달리티의 임베딩 벤치마크에서 새로운 Pareto frontier를 세웠으며, 전용 모델이나 2~12배 큰 모델보다 높은 성능을 보인다. 모델은 공개되어 있으며 Hugging Face에는 google/embeddinggemma-2 등이 등록되어 있다.
OmniShowcase는 여러 참조 이미지로부터 특정 피사체의 영상을 생성하는 기법으로, 기하 정보를 바탕으로 학습 데이터를 자동 합성하는 파이프라인과 참조 뷰에서 재구성한 표면 법선 맵을 사용하는 기하 조건부 처리를 결합한다. 360도 궤도를 포함한 다양한 카메라 궤도의 영상을 학습 데이터로 활용해 3D 일관성을 높인다. 실험에서는 피사체의 동일성과 3D 일관성에서 최첨단 결과를 보였으며, 영상 품질과 움직임도 경쟁력 있는 수준을 유지한 것으로 알려졌다.
Co-Design Bench는 실제 사용자의 요청에 따라 기존 애플리케이션을 수정하는 코딩 에이전트를 평가하는 벤치마크로, 273개 태스크와 2,331개의 수락 기준을 포함한다. 최상위 모델인 gpt-6-astra는 태스크 평균으로 수락 기준의 69.9%를 충족했지만, 모든 기준을 충족한 태스크는 26.4%에 그쳤다. Qwen3.8-27B는 엄격한 완료율 64.4%를 기록해 전체 4위에 올랐다.
The Trinity는 과제를 능력 트리로 정리하고, 시뮬레이션 학습 환경의 생성과 Harness 모듈의 진화를 반복해 멀티모달 에이전트를 개선하는 프레임워크다. Creator, Explorer, Evolver 세 역할이 서로 협력하며, 학습에 사용한 28개 벤치마크에서 평균 34포인트, 학습에 쓰지 않은 18개 벤치마크(실세계 신체성 과제 2건 포함)에서 평균 26포인트의 성능 향상을 보였다. 과제 정보를 바탕으로 적절한 모듈 구성을 고르는 Capability-Aware Harness Router도 도입했다.
InteractiveWorld는 MLLM이 물리 작업에서 사람을 확실하게 안내할 수 있는지를 평가하는 검증 가능한 시뮬레이션 환경이자 벤치마크다. 벤치마크인 InteractiveBench는 6개 카테고리, 120건의 멀티턴 작업으로 구성되며, 각 지시의 결과는 상태 기반 보상으로 채점된다. 12종의 프런티어 MLLM을 평가한 결과, 가장 성능이 높은 Claude Fable 5.1조차 장기적인 Guidance 및 Planning 작업의 달성률이 각각 최대 20%, 25%에 그쳤다.
DynaFlow는 메인 에이전트가 실행 가능한 워크플로를 생성하고, 서브 에이전트를 순차적 또는 병렬로 조정하는 멀티 에이전트 프레임워크다. 학습 대상은 메인 에이전트뿐이며, 서브 에이전트는 고정한 상태로 두었다. 6개 벤치마크에서 Forced 모드의 종합 정확도 88.08%를 달성했다. 같은 Qwen3.5-27B를 백본으로 하는 가장 강력한 베이스라인을 10.90포인트 앞섰다.
AV-FABLE은 장시간 음성·영상 동영상에 포함된 국소적 변조를 평가하기 위한 이중 타임라인 벤치마크로, 이를 기반으로 동결된 특징량에서 변조를 탐지하는 NFSR도 제안되었다. 원본·변조 쌍 16,650개(998시간, 편집 구성 27종)로 실험한 결과, AV-LLM에 제로샷 프롬프트를 사용한 탐지는 거의 무작위 추측 수준에 머물렀다.
WeVisOne-VL은 구조화된 next-token 예측을 통해 객체 수준과 픽셀 수준의 시각 인식을 통합한 VLM(Vision-Language Model)이다. 탐지, 참조 기반 위치 파악, 개수 세기, OCR, 세그멘테이션, 매팅을 지원하며, 점이나 박스에서 마스크, 알파 매트까지의 세분성으로 위치를 파악할 수 있다.
Factor-Aware Predictive Learning(FAPL)은 MLLM의 잠재 표현을 video diffusion transformer(DiT)에서 활용할 수 있도록 하는 학습 기법이다. 단계적 학습을 통해 희소한 입력으로부터의 시간적 추론과, 캐릭터·장면·동작·카메라 등 요소별 제어를 동시에 달성한다. 논문에 따르면 sparse-to-video, factor-aware editing, multi-shot generation 등 3가지 시네마틱 영상 생성 과제에서 베이스라인을 웃도는 성능이 보고되었다.
Sensorimotor Alignment(S²)는 감각 표현과 말단 효과기 궤적의 근방 구조가 얼마나 일치하는지를 재는 지표로, 값이 높을수록 로봇의 과제 성공률도 높아지는 경향이 있다고 밝혔다. 시뮬레이션과 실제 기기의 VLA·WAM에서 같은 경향이 확인됐으며, VLA의 성공률은 언어 특징이 아니라 시각 특징의 S²와 상관관계가 있었다. 클로즈드루프 평가에 앞서 쓸 수 있는 저비용 오프라인 지표로, VLA 미세조정 전 VLM 백본 선정에도 활용할 수 있다고 한다.
멀티모달 LLM(MLLM)의 검색 헤드는 음성·영상 입력에서도 희소한 상태를 유지하며, 상당수가 모달리티 간에 공유되는 것으로 나타났다. 18개의 체크포인트로 검증한 결과, 이 헤드들을 비활성화하면 음성·영상을 통한 검색이 거의 전부 사라지는 것으로 확인됐다.
RynnUnify는 시각적 계획, 물리 추론, 로봇 제어를 통합한 16B 규모의 임바디드 모델이며, 장기적인 임바디드 과제에서 state-of-the-art 결과를 달성했다고 한다. Rynn-VP의 종합 점수는 Cosmos 3 Nano를 9.75포인트 앞섰고, 에이전트 확장인 Rynn-GEU는 평균적으로 직접 추론보다 6.0포인트 높았다. 로봇 제어로의 확장은 RoboCasa365에서 선별한 20개 과제에서 51.5%, 실기 3개 과제에서 평균 46.7%의 성공률을 보였다.
HiSTEVE는 장기 계획과 네이티브 키보드·마우스 조작을 결합해 Minecraft에서 복잡한 과제를 수행하는 계층형 VLA 에이전트다. MineStudio Bench에서 85.0%, OpenHA에서 평균 성공률 37.4%를 기록했으며, 원자적 과제에서 최첨단 성능을 달성했다. 철 곡괭이를 처음부터 제작하는 것과 같은 장기 과제도 인간 플레이어처럼 완료할 수 있다고 밝혔다.
FilmFlow는 자연어 지시 또는 참조 동영상을 3D 장면에서 실행 가능한 카메라 궤적으로 변환하는 에이전트형 프레임워크이다. Director, Interpreter, Scout, Critic 각 에이전트가 협력하며, Critic은 렌더링 결과를 평가해 계획을 반복적으로 개선한다. 평가용 데이터셋 CinemaBench는 Blender 장면 150건, 텍스트 지시 기반 과제 750건, 참조 동영상 60편으로 구성되며, 평가한 베이스라인 중 최고의 벤치마크 성능과 사용자 평가를 얻었다고 보고되었다.
동영상 이해와 동영상 생성을 세계 모델의 관점에서 통합적으로 정리한 서베이 논문이다. 동영상을 잠재적인 시간적 세계를 부분적이고 불완전하게 투영한 것으로 보고, 문헌을 '읽기', '쓰기', '공유하기', '상호작용하기'의 네 가지 작업으로 분류했다. 관심의 초점이 클립 단위의 인식이나 지각적 충실도에서 지속적인 상태, 제어 가능한 변화, 물리적·인과적 타당성으로 옮겨 가고 있다고 논하며, 남은 과제를 제시한다.
동영상을 출발점으로 외부 근거를 수집해 대화형 보고서를 만드는 에이전트를 평가하는 벤치마크 「OmniDR-Bench」와 평가 프레임워크 「Omni-ARTs」가 제안됐다. OmniDR-Bench는 중국어·영어 50개 과제와 19개 실제 세부 카테고리로 구성되며, 평가 기준은 6,414건을 포함한다. 18개 에이전트 구성으로 평가한 결과, 최고 점수는 100점 만점에 63.3점이었다. 현재 에이전트는 내용의 포괄성, 모달리티를 넘나드는 인과·논리 분석, 인용의 정확성에서 개선이 필요하다.
임의의 리그(스켈레톤)에 대해 영상과 3D 동작을 동시에 생성하고, 카메라로 그 동작을 장면에 맞춰 배치하는 모델을 제안했다. 3D 동작은 임의의 스켈레톤을 다루는 별도의 모델로 처리하며, 사전 학습된 영상 생성 모델과 소수의 크로스 어텐션 레이어로 연결한다. 약 20만 쌍의 학습 데이터로 훈련했으며, 텍스트로부터 애니메이션을 만들 때 영상 우선 방식의 파이프라인보다 충실도가 높다고 보고됐다. 영상과 3D 동작 간 상호 변환과 키프레임을 통한 제어도 가능하다고 한다.