Kling 사례로 보는 동영상 생성과 멀티모달 이해의 노하우
Kling 개발에서 얻은 멀티모달 이해의 노하우를 정리한 보고서로, 동영상 생성 품질은 데이터부터 평가에 이르는 연쇄 과정에 멀티모달 이해가 반영된 결과라고 주장한다. 이미지, 동영상, 음성, 음성이 포함된 동영상, 인터리브 입력을 통합적으로 다루는 Kling-MLLM을 기반으로 하여 각 공정을 전문화했다. 캡션의 설명 밀도, 보상 모델 설계, 자동 평가 방법도 검토하고 있다.
#동영상
#동영상
오늘 0건Hugging Face Daily PapersAI 점수3636
Hugging Face Daily PapersAI 점수3939 MoviEdit, 장편 멀티샷 동영상 편집을 위한 엔드투엔드 프레임워크 발표
MoviEdit는 장편 멀티샷 동영상 편집을 수행하는 엔드투엔드 프레임워크다. 캐스케이드형 양방향·자기회귀 모델링을 통해 장면을 넘나들며 일관성을 유지하는 편집을 구현한다. 자동 데이터 생성 파이프라인으로 수작업 주석 없이 87K개의 편집 동영상 쌍을 만들었으며, 평가용 벤치마크 MoviEdit-Bench도 함께 공개됐다. 원문에 따르면 기존 오픈소스 모델을 크게 웃돌며, 텍스트 기반 및 이미지 기반 편집에서 업계 최전선 모델과 동등한 성능을 보인다.
The DecoderAI 점수4343 Google, 작업 중인 사용자의 요구를 이해하는 동영상 AI 'StreamVibe' 연구
Google을 중심으로 한 연구팀이 작업 모습을 보면서 언제 말을 꺼낼지 스스로 판단하는 동영상 에이전트 'StreamVibe'를 소개했다. 기반 모델은 Qwen3.5-9B로 보이는 'StreamVibe-VL'은 응답 타이밍과 품질에서 다른 모델을 10.7% 앞섰다고 연구팀은 밝혔다. 한편 5분을 넘는 동영상에서는 테스트 대상인 모든 모델에서 적절한 타이밍을 고르는 정확도가 떨어졌으며, 대화 기록을 바탕으로 한 내용 지표는 최대 61.5% 하락했다.
Hugging Face Daily PapersAI 점수4242 L3G-World, 잠재 3D 가우시안 메모리로 실시간 무한 세계 생성 구현
L3G-World는 잠재 3D 가우시안 메모리와 비디오 확산 트랜스포머(DiT)를 번갈아 자기회귀적으로 갱신하여, 공간적으로 일관된 대화형 세계를 실시간으로 생성하는 기법이다. 메모리는 새로 관측된 영역에 가우시안을 생성하고 기존 가우시안을 정제하므로, 메모리 규모는 스트림의 길이가 아니라 장면의 범위에 따라 늘어난다. 각 지표에서 가장 효율적인 기존 3D 메모리 기법과 비교하면, 3D 프리미티브는 최대 38.6분의 1로 줄고, 메모리 갱신은 3.2배, 메모리 렌더링은 359배 빨라져 9 FPS의 실시간 생성이 가능해진다.
Hugging Face Daily PapersAI 점수2929 동영상 생성과 에이전트 하네스의 융합: 에이전트형 생성, 월드 모델링, 재귀적 자기 개선
동영상 생성과 월드 모델을 계획, 도구 활용, 상태 관리를 담당하는 실행 기반인 '에이전트 하네스'로 통합하는 방향성을 정리한 보고서다. 에이전트형 동영상 생성, 에이전트형 월드 모델링, 동영상 모델 개발에서의 재귀적 자기 개선이라는 세 가지를 검토한다. 음성과 영상의 인지, 장기 계획, 메모리, 스킬 재사용, 다중 에이전트 협업을 필요한 능력으로 제시하고, 자율적 영상 제작, 출처 추적(provenance), 비용 계산, 평가 등의 과제도 짚는다.
Hugging Face Daily PapersAI 점수4545 Wizard, 에이전트형 제어로 임의의 게임 세계를 실시간 조작
Wizard는 캐릭터 애니메이션, 장면 조작, 게임 로직을 영상 생성과 분리하고, 에이전트형 제어를 통해 게임 세계를 실시간으로 조작하는 기법이다. 750개 장면과 178개 캐릭터에 걸친 50.3시간 분량의 대응되는 프록시-영상 쌍을 구축했으며, 인과적 적응과 소수 단계 증류를 통해 24 FPS에서의 조작을 구현했다. 또한 본 적 없는 장면, 캐릭터, 동작에 대한 제로샷 일반화 성능도 보여준다.
Hugging Face Daily PapersAI 점수3232 VibeVideoBench, 코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크
코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.
Hugging Face Daily PapersAI 점수3434 LociArt: 자유 형식의 국소 비디오 스타일화를 위한 통합 패러다임
LociArt는 동영상의 지정된 영역에 스타일을 적용하면서 대상 외 내용은 그대로 유지하고 시간적 일관성을 확보하는 국소 비디오 스타일화의 통합 패러다임이다. 핵심 기술인 GRNStyle은 Generative Refinement Networks(GRN)를 기반으로 하며, 영역별 스타일을 등노름 방향으로 임베딩하는 극좌표형 스타일 인식 마스크를 도입했다. 실험에서는 영역 스타일의 품질과 공간 제어 면에서 기존 방법을 능가했으며, 강한 시간적 일관성을 유지한 것으로 보고됐다.
Hugging Face Daily PapersAI 점수4040 WeVisCut: 나레이션부터 장편 동영상까지 하나의 에이전트로 편집
WeVisCut은 나레이션으로 장편 동영상을 제작하는 시스템으로, 편집 도구를 총괄하고 실패에서 복구하는 단일 9B 정책을 사용한다. 성공한 출력 1분당 생성 토큰 수를 약 33분의 1로 줄이면서도 Claude Opus 5에 필적하는 성능을 달성했다고 밝혔다. 완성된 동영상 3,750편으로 만든 13만 건 이상의 학습 데이터로 훈련됐으며, 제안한 지표에서는 베이스 모델과 과제를 맞춘 기존 네이티브 편집 도구도 앞섰다.
Hugging Face Daily PapersAI 점수2828 OmniShowcase, 다시점 이미지 기반으로 피사체 일관성을 유지하는 전방위 영상 생성
OmniShowcase는 여러 참조 이미지로부터 특정 피사체의 영상을 생성하는 기법으로, 기하 정보를 바탕으로 학습 데이터를 자동 합성하는 파이프라인과 참조 뷰에서 재구성한 표면 법선 맵을 사용하는 기하 조건부 처리를 결합한다. 360도 궤도를 포함한 다양한 카메라 궤도의 영상을 학습 데이터로 활용해 3D 일관성을 높인다. 실험에서는 피사체의 동일성과 3D 일관성에서 최첨단 결과를 보였으며, 영상 품질과 움직임도 경쟁력 있는 수준을 유지한 것으로 알려졌다.
Hugging Face Daily PapersAI 점수2929 영상 생성용 MLLM 잠재 표현을 활용하는 Factor-Aware Predictive Learning(FAPL)
Factor-Aware Predictive Learning(FAPL)은 MLLM의 잠재 표현을 video diffusion transformer(DiT)에서 활용할 수 있도록 하는 학습 기법이다. 단계적 학습을 통해 희소한 입력으로부터의 시간적 추론과, 캐릭터·장면·동작·카메라 등 요소별 제어를 동시에 달성한다. 논문에 따르면 sparse-to-video, factor-aware editing, multi-shot generation 등 3가지 시네마틱 영상 생성 과제에서 베이스라인을 웃도는 성능이 보고되었다.
Hugging Face Daily PapersAI 점수2929 WorldCast: 대각도 카메라 제어를 지원하는 세계 정합적 캐릭터 영상 생성
WorldCast는 대각도 카메라 이동에서도 캐릭터의 일관성을 유지하는 영상 생성 프레임워크이다. 추정 깊이로 초기 프레임을 3D 점군에 투영해 궤적을 따라 그린 기하학적 가이던스와, Geometry-Aligned Memory Attention(GAMA)을 통한 시점별 특징 검색 및 주입을 결합한다. 또한 대각도 카메라 궤적을 포함하는 대규모 데이터셋·벤치마크 CLACT도 제안되었으며, 평가에서는 카메라 궤적 추종과 캐릭터의 형태·외관·정체성 유지가 입증되었다.
Hugging Face Daily PapersAI 점수3535 자기회귀형 비디오 생성에서 미래 청크 예측(FCP)을 통한 미래 영상 변화 모델링
자기회귀형 비디오 확산 모델에 미래 청크 예측(FCP)을 보조 목적으로 추가하는 기법이 제안되었다. FCP는 사이의 영상 문맥을 주지 않고 시간적으로 떨어진 청크를 예측하도록 하여, 표준적인 교사 강제(teacher forcing) 학습보다 물리적 타당성이 높은 영상을 더 적은 학습 연산량으로 구현한다. 추가로 사전 학습된 비주얼 인코더는 필요하지 않으며, 추론 방식은 바뀌지 않는다.
Hugging Face Daily PapersAI 점수2727 FilmFlow、3D 가상 영화 촬영을 위한 에이전트형 시스템
FilmFlow는 자연어 지시 또는 참조 동영상을 3D 장면에서 실행 가능한 카메라 궤적으로 변환하는 에이전트형 프레임워크이다. Director, Interpreter, Scout, Critic 각 에이전트가 협력하며, Critic은 렌더링 결과를 평가해 계획을 반복적으로 개선한다. 평가용 데이터셋 CinemaBench는 Blender 장면 150건, 텍스트 지시 기반 과제 750건, 참조 동영상 60편으로 구성되며, 평가한 베이스라인 중 최고의 벤치마크 성능과 사용자 평가를 얻었다고 보고되었다.
Hugging Face Daily PapersAI 점수3232 동영상으로 세계를 읽고, 쓰고, 공유하고, 상호작용하다: 세계 모델 관점에서 본 동영상 이해·생성 서베이
동영상 이해와 동영상 생성을 세계 모델의 관점에서 통합적으로 정리한 서베이 논문이다. 동영상을 잠재적인 시간적 세계를 부분적이고 불완전하게 투영한 것으로 보고, 문헌을 '읽기', '쓰기', '공유하기', '상호작용하기'의 네 가지 작업으로 분류했다. 관심의 초점이 클립 단위의 인식이나 지각적 충실도에서 지속적인 상태, 제어 가능한 변화, 물리적·인과적 타당성으로 옮겨 가고 있다고 논하며, 남은 과제를 제시한다.
Hugging Face Daily PapersAI 점수3939 임의의 리그를 위한 3D 동작과 영상의 동시 생성 모델
임의의 리그(스켈레톤)에 대해 영상과 3D 동작을 동시에 생성하고, 카메라로 그 동작을 장면에 맞춰 배치하는 모델을 제안했다. 3D 동작은 임의의 스켈레톤을 다루는 별도의 모델로 처리하며, 사전 학습된 영상 생성 모델과 소수의 크로스 어텐션 레이어로 연결한다. 약 20만 쌍의 학습 데이터로 훈련했으며, 텍스트로부터 애니메이션을 만들 때 영상 우선 방식의 파이프라인보다 충실도가 높다고 보고됐다. 영상과 3D 동작 간 상호 변환과 키프레임을 통한 제어도 가능하다고 한다.
Hugging Face Daily PapersAI 점수5252 Matrix-Game 4.0, 동영상 모델로 실시간 플레이 가능한 게임 세계를 생성하는 연구
Matrix-Game 4.0은 게임 엔진 실행과 자기회귀형 동영상 모델 기반 영상 생성을 분리해 실시간으로 플레이 가능한 게임 세계를 구현한다. NVIDIA RTX 5090 1장으로 480p, 60 FPS, 입력에서 화면 표시까지 지연 112ms를 달성했다. 코드, 모델 가중치, 로우폴리 게임 에셋도 공개했다.
Hugging Face Daily PapersAI 점수4242 SolarRenderer: 소수 단계 생성형 레퍼런스 렌더링
SolarRenderer는 동결된 MiniMax-H3 33B 백본에 두 개의 경량 LoRA를 결합해, 구조 입력으로부터 사실적인 동영상을 4단계만에 렌더링하는 기법이다. 50단계 샘플링보다 12.3배 빠른 것으로 알려졌다. 블록 인과형 파생 버전은 스트리밍을 지원해 768p 동영상을 실시간으로 렌더링할 수 있다. 프레임 정렬이 된 136K 클립 데이터로 학습했으며, 동일 분포의 테스트셋과 16종류의 구조 표현을 사용한 벤치마크에서 최고 수준의 결과를 보였다. 또한 포즈 스켈레톤, 드로잉, 포인트 클라우드 등 학습에 쓰이지 않은 11가지 표현에도 일반화되는 것으로 나타났다.
Hugging Face Daily PapersAI 점수4040 StreamEval, 인터랙티브 스트리밍 동영상 생성 모델 평가 벤치마크 공개
StreamEval은 인터랙티브 스트리밍 동영상 생성 모델을 5개 과제로 평가하는 통합 벤치마크다. 300개의 대본 기반 테스트 케이스(15~300초)로 37개 모델을 평가한 결과, 시각적 품질이 높아도 요청을 확실하게 수행하는 것과 상태의 일관성을 유지하는 것은 여전히 과제인 것으로 나타났다. 요청 수행 최고 점수는 아바타 연기 모델 7종의 Following에서 36.90, 텍스트 조건부 월드 생성의 Following에서 25.93, 참조 편집 모델 3종의 Edit Success에서 15.00에 그쳤다.
Hugging Face Daily PapersAI 점수2929 Code2Video-Compass：T2V·I2V·V2V를 지원하는 코드 기반 동영상 생성 벤치마크
Code2Video-Compass는 텍스트·이미지·동영상을 입력으로 하는 코드 기반 동영상 생성을 평가하는 범용 벤치마크로, T2V, I2V, V2V 세 가지 설정을 지원한다. 10개 카테고리, 24개 서브타입, 3가지 복잡성 차원으로 구성된 2,104개의 과제를 포함하며, 객관 지표 12종과 주관 지표 5종으로 평가한다. 9개 계열의 독점 및 오픈 웨이트 MLLM 15종을 평가한 결과, 최상위 모델도 고품질 동영상을 안정적으로 생성하기는 어려웠으며, 구성·동적 애니메이션·상태 의존적 복잡성이 높아질수록 성능이 떨어지는 경향이 나타났다.
Hugging Face Daily PapersAI 점수3434 SpecKCast, 주파수 영역 칼만 필터 예측으로 디퓨전 Transformer 가속
SpecKCast는 디퓨전 Transformer(DiT)의 출력을 주파수 영역에서 예측하는, 학습이 필요 없는 가속 기법이다. 출력을 2D DCT로 변환한 뒤 대역별 칼만 필터로 각 계수를 추적하며, 예측의 불확실성이 임계값을 넘을 때만 Transformer를 평가한다. FLUX.1-dev, Qwen-Image, Wan2.1-14B, HunyuanVideo에서의 실험에서는 기존 캐시 기법과 예측 기법을 웃도는 속도와 품질의 균형을 보였으며, 0.05GiB 미만의 추가 메모리로 최대 6배의 가속을 달성했다.
Hugging Face Daily PapersAI 점수3838 대화형 동영상 생성에서의 Speculative Sampling
Speculative Sampling은 자기회귀형 동영상 생성을 대화적으로 작동시키기 위한 학습이 필요 없는 기법이다. 양방향 어텐션 윈도우 방식의 MiniMax H3에 적용하면 Self-Forcing 계열의 자기회귀 후학습을 거치지 않고도 대화형으로 바꿀 수 있으며, 새로운 사용자 입력부터 첫 응답 프레임이 표시되기까지의 엔드투엔드 지연 시간은 약 1.4초다. 모델은 한 번에 5초 분량의 동영상을 동시에 샘플링한다.
Google Research BlogAI 점수4141 Google Research, Gemini·Veo 기반으로 장편 영상의 일관성을 자동 제어하는 AI 비디오 공동 감독 프레임워크 발표
Google Research는 Gemini와 Veo 위에 구축한 멀티 에이전트형 AI 비디오 공동 감독 프레임워크를 발표했다. 여러 컷에 걸친 시각적 일관성을 계획하고, 캐릭터와 환경의 어긋남을 억제하면서 수 분 규모의 영상 생성을 목표로 한다. 창작 방향을 선택하는 데는 멀티 암드 밴딧을 사용하며, Pre-Production, Production, MLLM Judge의 각 에이전트가 제작을 진행한다. SynthID 워터마크 등 안전 장치도 그대로 이어받는다고 밝혔다.