Kling 사례로 보는 동영상 생성과 멀티모달 이해의 노하우

Kling 개발에서 얻은 멀티모달 이해의 노하우를 정리한 보고서로, 동영상 생성 품질은 데이터부터 평가에 이르는 연쇄 과정에 멀티모달 이해가 반영된 결과라고 주장한다. 이미지, 동영상, 음성, 음성이 포함된 동영상, 인터리브 입력을 통합적으로 다루는 Kling-MLLM을 기반으로 하여 각 공정을 전문화했다. 캡션의 설명 밀도, 보상 모델 설계, 자동 평가 방법도 검토하고 있다.

MoviEdit, 장편 멀티샷 동영상 편집을 위한 엔드투엔드 프레임워크 발표

MoviEdit는 장편 멀티샷 동영상 편집을 수행하는 엔드투엔드 프레임워크다. 캐스케이드형 양방향·자기회귀 모델링을 통해 장면을 넘나들며 일관성을 유지하는 편집을 구현한다. 자동 데이터 생성 파이프라인으로 수작업 주석 없이 87K개의 편집 동영상 쌍을 만들었으며, 평가용 벤치마크 MoviEdit-Bench도 함께 공개됐다. 원문에 따르면 기존 오픈소스 모델을 크게 웃돌며, 텍스트 기반 및 이미지 기반 편집에서 업계 최전선 모델과 동등한 성능을 보인다.

Google, 작업 중인 사용자의 요구를 이해하는 동영상 AI 'StreamVibe' 연구

Google을 중심으로 한 연구팀이 작업 모습을 보면서 언제 말을 꺼낼지 스스로 판단하는 동영상 에이전트 'StreamVibe'를 소개했다. 기반 모델은 Qwen3.5-9B로 보이는 'StreamVibe-VL'은 응답 타이밍과 품질에서 다른 모델을 10.7% 앞섰다고 연구팀은 밝혔다. 한편 5분을 넘는 동영상에서는 테스트 대상인 모든 모델에서 적절한 타이밍을 고르는 정확도가 떨어졌으며, 대화 기록을 바탕으로 한 내용 지표는 최대 61.5% 하락했다.

TBC, 이미지에서 동영상을 생성하는 모델 「Mischief 1」 공개… 뉴런 연구도 활용

The Biological Computing Co.(TBC)가 이미지에서 동영상을 생성하는 모델 「Mischief 1」을 공개했다. 요금은 480p 기준 초당 0.005달러부터이며, 3초 또는 5초 클립을 16:9 비율로 출력할 수 있다. fal과 OpenRouter에서 이용할 수 있으며, 회사 측은 생체 뉴런을 활용한 실험이 소프트웨어 개선에 도움이 되었다고 설명했다.

The Biological Computing Co., 생체 뉴런 연구에서 비롯된 AI 동영상 모델 「TBC mischief 1」 발표

The Biological Computing Co.는 생체 뉴런 실험에서 얻은 계산 효율화 기술을 적용한 AI 동영상 생성 모델 「TBC mischief 1」을 발표했다. 회사에 따르면, 기반이 되는 오픈 웨이트 모델 Wan 2.2보다 약 5배 빠르게 동영상을 생성하면서도 출력 품질은 동등하게 유지한다. fal과 OpenRouter를 통해 제공되며, 요금은 1초당 약 0.5센트부터이고 5초 클립은 약 2.5센트다. 최적화 레이어는 기반 모델의 파라미터 수를 0.1% 미만으로만 늘리며, 생체 뉴런 자체는 제품에 포함되지 않는다.

TBC, Wan 2.2 기반 이미지-투-비디오 모델 「Mischief」 공개

TBC는 Wan 2.2를 기반으로 한 이미지-투-비디오 모델 「Mischief 1」을 10월 30일 fal과 OpenRouter를 통해 공개했다. 회사 측은 기본 모델과 동등한 품질을 유지하면서 영상 생성 속도를 5배 빠르게 했다고 설명했으나, 이는 회사의 자체 발표이며 독립적인 벤치마크 결과는 제시되지 않았다. OpenRouter 가격은 480p에서 초당 0.005달러, 720p에서 0.01달러이며, 5초 클립은 0.025달러가 된다.

L3G-World, 잠재 3D 가우시안 메모리로 실시간 무한 세계 생성 구현

L3G-World는 잠재 3D 가우시안 메모리와 비디오 확산 트랜스포머(DiT)를 번갈아 자기회귀적으로 갱신하여, 공간적으로 일관된 대화형 세계를 실시간으로 생성하는 기법이다. 메모리는 새로 관측된 영역에 가우시안을 생성하고 기존 가우시안을 정제하므로, 메모리 규모는 스트림의 길이가 아니라 장면의 범위에 따라 늘어난다. 각 지표에서 가장 효율적인 기존 3D 메모리 기법과 비교하면, 3D 프리미티브는 최대 38.6분의 1로 줄고, 메모리 갱신은 3.2배, 메모리 렌더링은 359배 빨라져 9 FPS의 실시간 생성이 가능해진다.

Tripo AI, 인터랙티브 체험용 실시간 생성 렌더러 「EdenLive」 공개

Tripo AI가 인터랙티브 체험용 실시간 생성 렌더러 「EdenLive」를 오픈소스로 공개했다고 밝혔다. 회사에 따르면 5B 모델은 소비자용 GPU(RTX 5090) 1개로 720p 영상을 24 FPS 이상의 속도로 실시간 생성한다. 5B와 14B 모델 가중치는 Hugging Face에, 코드는 Apache 2.0 라이선스로 GitHub에 공개되어 있다.

Google Gemini@GeminiAppAI 점수5555

Gemini 앱에서 나만의 아바타를 만들어 공유하고, 친구와 함께 이미지나 동영상에 등장시킬 수 있게 되었다. 아바타 공유, 프롬프트 내 상호 태그 지정, 캐릭터와 목소리의 일관성 유지를 지원하며, 접근 권한은 언제든지 추가하거나 삭제할 수 있다.

동영상 생성과 에이전트 하네스의 융합: 에이전트형 생성, 월드 모델링, 재귀적 자기 개선

동영상 생성과 월드 모델을 계획, 도구 활용, 상태 관리를 담당하는 실행 기반인 '에이전트 하네스'로 통합하는 방향성을 정리한 보고서다. 에이전트형 동영상 생성, 에이전트형 월드 모델링, 동영상 모델 개발에서의 재귀적 자기 개선이라는 세 가지를 검토한다. 음성과 영상의 인지, 장기 계획, 메모리, 스킬 재사용, 다중 에이전트 협업을 필요한 능력으로 제시하고, 자율적 영상 제작, 출처 추적(provenance), 비용 계산, 평가 등의 과제도 짚는다.

Google, 실시간 대화형 세계를 생성하는 Genie 4 발표

Google은 현실적인 인터랙티브 시뮬레이션을 생성하고 사용자의 지시에 즉각 반응하는 멀티모달 모델 "Genie 4"를 발표했다. 영상뿐 아니라 물체의 물리적 움직임과 공간 음향도 생성할 수 있다. 현재는 신뢰할 수 있는 파트너를 대상으로 한 비공개 리서치 프리뷰이며, 향후 Google AI Ultra 구독자, Gemini API, Google AI Studio에서도 제공될 예정이다.

Wizard, 에이전트형 제어로 임의의 게임 세계를 실시간 조작

Wizard는 캐릭터 애니메이션, 장면 조작, 게임 로직을 영상 생성과 분리하고, 에이전트형 제어를 통해 게임 세계를 실시간으로 조작하는 기법이다. 750개 장면과 178개 캐릭터에 걸친 50.3시간 분량의 대응되는 프록시-영상 쌍을 구축했으며, 인과적 적응과 소수 단계 증류를 통해 24 FPS에서의 조작을 구현했다. 또한 본 적 없는 장면, 캐릭터, 동작에 대한 제로샷 일반화 성능도 보여준다.

VibeVideoBench, 코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크

코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.

LociArt: 자유 형식의 국소 비디오 스타일화를 위한 통합 패러다임

LociArt는 동영상의 지정된 영역에 스타일을 적용하면서 대상 외 내용은 그대로 유지하고 시간적 일관성을 확보하는 국소 비디오 스타일화의 통합 패러다임이다. 핵심 기술인 GRNStyle은 Generative Refinement Networks(GRN)를 기반으로 하며, 영역별 스타일을 등노름 방향으로 임베딩하는 극좌표형 스타일 인식 마스크를 도입했다. 실험에서는 영역 스타일의 품질과 공간 제어 면에서 기존 방법을 능가했으며, 강한 시간적 일관성을 유지한 것으로 보고됐다.

Google Genie 4 가이드: 사양, 벤치마크, 동영상, 이용 방법

Google DeepMind는 2026년 10월 27일 Genie 4를 발표했으며, 현재는 신뢰할 수 있는 테스터를 대상으로 프리뷰를 제공하고 있다. Project Genie의 Google AI Ultra 가입자 대상 제공과 일부 API 및 Google AI Studio 파트너 대상 제공은 "곧 공개"로 되어 있으며, 일반 공개 일정은 발표되지 않았다. 해상도, 프레임레트, 매개변수 수, 수치 벤치마크 결과, API 가격은 확인한 자료에 공개되어 있지 않다.

WeVisCut: 나레이션부터 장편 동영상까지 하나의 에이전트로 편집

WeVisCut은 나레이션으로 장편 동영상을 제작하는 시스템으로, 편집 도구를 총괄하고 실패에서 복구하는 단일 9B 정책을 사용한다. 성공한 출력 1분당 생성 토큰 수를 약 33분의 1로 줄이면서도 Claude Opus 5에 필적하는 성능을 달성했다고 밝혔다. 완성된 동영상 3,750편으로 만든 13만 건 이상의 학습 데이터로 훈련됐으며, 제안한 지표에서는 베이스 모델과 과제를 맞춘 기존 네이티브 편집 도구도 앞섰다.

iAsk.ai, 검색 결과로 해설 영상을 생성하는 기능 공개

iAsk.ai를 운영하는 Ai Search Inc.는 AI 검색 플랫폼에 검색 내용으로 영상을 만드는 기능을 추가했다고 발표했다. 사용자는 질문을 보낼 때 「Generate a tutorial video」를 선택하면 텍스트 답변과 함께 해설 영상을 받을 수 있다. 이 기능은 전체 사용자에게 공개되었으며, 회사는 「How do black holes form?」를 예로 든 데모를 공개했다.

Grok, AI 생성 영화 「The Odyssey」의 첫 7분 공개

Grok이 AI로 만든 「The Odyssey」의 제1화로 자리매김한 7분 분량의 영상을 공개했다. Elon Musk가 장편판 제작을 밝힌 지 3개월 만의 공개이며, 제작에는 Wonder Studios와 디렉터 Dev Walker가 참여했다. 필자는 영상에서 예술성이나 인간미가 느껴지지 않으며, 7분 이후의 내용을 더 보고 싶은 생각도 들지 않는다고 평했다.

OmniShowcase, 다시점 이미지 기반으로 피사체 일관성을 유지하는 전방위 영상 생성

OmniShowcase는 여러 참조 이미지로부터 특정 피사체의 영상을 생성하는 기법으로, 기하 정보를 바탕으로 학습 데이터를 자동 합성하는 파이프라인과 참조 뷰에서 재구성한 표면 법선 맵을 사용하는 기하 조건부 처리를 결합한다. 360도 궤도를 포함한 다양한 카메라 궤도의 영상을 학습 데이터로 활용해 3D 일관성을 높인다. 실험에서는 피사체의 동일성과 3D 일관성에서 최첨단 결과를 보였으며, 영상 품질과 움직임도 경쟁력 있는 수준을 유지한 것으로 알려졌다.

최초의 AI 생성 극장 영화 '삼성퇴: 미래의 과거'가 흥행에서 고전, ByteDance와 Kuaishou는 대형 스크린 시장으로 확대

중국 최초의 극장 개봉 AI 실사풍 영화 『삼성퇴: 미래의 과거』가 10월 23일 개봉했으나, 사전 예매량은 두 자료를 합쳐 약 14.4만 위안에 그쳤다. 한편 ByteDance의 Volcano Engine과 Kuaishou의 Keling은 영화 제작용 생성 능력을 앞세워 대형 스크린 시장 진출을 추진하고 있다.

영상 생성용 MLLM 잠재 표현을 활용하는 Factor-Aware Predictive Learning(FAPL)

Factor-Aware Predictive Learning(FAPL)은 MLLM의 잠재 표현을 video diffusion transformer(DiT)에서 활용할 수 있도록 하는 학습 기법이다. 단계적 학습을 통해 희소한 입력으로부터의 시간적 추론과, 캐릭터·장면·동작·카메라 등 요소별 제어를 동시에 달성한다. 논문에 따르면 sparse-to-video, factor-aware editing, multi-shot generation 등 3가지 시네마틱 영상 생성 과제에서 베이스라인을 웃도는 성능이 보고되었다.

DE STAAT「FREEDOM」 공식 뮤직비디오

Simon Willison이 DE STAAT의 곡 「FREEDOM」 공식 뮤직비디오 링크를 게시했다. 기사에는 music, ai, generative-ai 태그가 붙어 있다. 본문에는 영상의 내용이나 제작 방법에 대한 자세한 정보는 실려 있지 않다.

WorldCast: 대각도 카메라 제어를 지원하는 세계 정합적 캐릭터 영상 생성

WorldCast는 대각도 카메라 이동에서도 캐릭터의 일관성을 유지하는 영상 생성 프레임워크이다. 추정 깊이로 초기 프레임을 3D 점군에 투영해 궤적을 따라 그린 기하학적 가이던스와, Geometry-Aligned Memory Attention(GAMA)을 통한 시점별 특징 검색 및 주입을 결합한다. 또한 대각도 카메라 궤적을 포함하는 대규모 데이터셋·벤치마크 CLACT도 제안되었으며, 평가에서는 카메라 궤적 추종과 캐릭터의 형태·외관·정체성 유지가 입증되었다.

자기회귀형 비디오 생성에서 미래 청크 예측(FCP)을 통한 미래 영상 변화 모델링

자기회귀형 비디오 확산 모델에 미래 청크 예측(FCP)을 보조 목적으로 추가하는 기법이 제안되었다. FCP는 사이의 영상 문맥을 주지 않고 시간적으로 떨어진 청크를 예측하도록 하여, 표준적인 교사 강제(teacher forcing) 학습보다 물리적 타당성이 높은 영상을 더 적은 학습 연산량으로 구현한다. 추가로 사전 학습된 비주얼 인코더는 필요하지 않으며, 추론 방식은 바뀌지 않는다.

FilmFlow、3D 가상 영화 촬영을 위한 에이전트형 시스템

FilmFlow는 자연어 지시 또는 참조 동영상을 3D 장면에서 실행 가능한 카메라 궤적으로 변환하는 에이전트형 프레임워크이다. Director, Interpreter, Scout, Critic 각 에이전트가 협력하며, Critic은 렌더링 결과를 평가해 계획을 반복적으로 개선한다. 평가용 데이터셋 CinemaBench는 Blender 장면 150건, 텍스트 지시 기반 과제 750건, 참조 동영상 60편으로 구성되며, 평가한 베이스라인 중 최고의 벤치마크 성능과 사용자 평가를 얻었다고 보고되었다.

동영상으로 세계를 읽고, 쓰고, 공유하고, 상호작용하다: 세계 모델 관점에서 본 동영상 이해·생성 서베이

동영상 이해와 동영상 생성을 세계 모델의 관점에서 통합적으로 정리한 서베이 논문이다. 동영상을 잠재적인 시간적 세계를 부분적이고 불완전하게 투영한 것으로 보고, 문헌을 '읽기', '쓰기', '공유하기', '상호작용하기'의 네 가지 작업으로 분류했다. 관심의 초점이 클립 단위의 인식이나 지각적 충실도에서 지속적인 상태, 제어 가능한 변화, 물리적·인과적 타당성으로 옮겨 가고 있다고 논하며, 남은 과제를 제시한다.

임의의 리그를 위한 3D 동작과 영상의 동시 생성 모델

임의의 리그(스켈레톤)에 대해 영상과 3D 동작을 동시에 생성하고, 카메라로 그 동작을 장면에 맞춰 배치하는 모델을 제안했다. 3D 동작은 임의의 스켈레톤을 다루는 별도의 모델로 처리하며, 사전 학습된 영상 생성 모델과 소수의 크로스 어텐션 레이어로 연결한다. 약 20만 쌍의 학습 데이터로 훈련했으며, 텍스트로부터 애니메이션을 만들 때 영상 우선 방식의 파이프라인보다 충실도가 높다고 보고됐다. 영상과 3D 동작 간 상호 변환과 키프레임을 통한 제어도 가능하다고 한다.

Matrix-Game 4.0, 동영상 모델로 실시간 플레이 가능한 게임 세계를 생성하는 연구

Matrix-Game 4.0은 게임 엔진 실행과 자기회귀형 동영상 모델 기반 영상 생성을 분리해 실시간으로 플레이 가능한 게임 세계를 구현한다. NVIDIA RTX 5090 1장으로 480p, 60 FPS, 입력에서 화면 표시까지 지연 112ms를 달성했다. 코드, 모델 가중치, 로우폴리 게임 에셋도 공개했다.

SolarRenderer: 소수 단계 생성형 레퍼런스 렌더링

SolarRenderer는 동결된 MiniMax-H3 33B 백본에 두 개의 경량 LoRA를 결합해, 구조 입력으로부터 사실적인 동영상을 4단계만에 렌더링하는 기법이다. 50단계 샘플링보다 12.3배 빠른 것으로 알려졌다. 블록 인과형 파생 버전은 스트리밍을 지원해 768p 동영상을 실시간으로 렌더링할 수 있다. 프레임 정렬이 된 136K 클립 데이터로 학습했으며, 동일 분포의 테스트셋과 16종류의 구조 표현을 사용한 벤치마크에서 최고 수준의 결과를 보였다. 또한 포즈 스켈레톤, 드로잉, 포인트 클라우드 등 학습에 쓰이지 않은 11가지 표현에도 일반화되는 것으로 나타났다.

NVIDIA Cosmos3-H-Dreams, 생성 시뮬레이션으로 임상 수술 재현

NVIDIA는 담낭 절제술의 임상 기록으로 학습하고 실시간 키네매틱스 제어를 지원하는 실시간 생성형 수술 시뮬레이터 「Cosmos3-H-Dreams」를 발표했다. Cosmos 3과 FlashDreams를 활용하며, 단일 NVIDIA RTX PRO 6000 GPU에서 인터랙티브하게 작동한다. 기반이 되는 Cosmos3-H-Embodied-Nano는 16B 파라미터이며, 4단계 버전과 2단계 버전의 두 가지 체크포인트가 제공된다.

StreamEval, 인터랙티브 스트리밍 동영상 생성 모델 평가 벤치마크 공개

StreamEval은 인터랙티브 스트리밍 동영상 생성 모델을 5개 과제로 평가하는 통합 벤치마크다. 300개의 대본 기반 테스트 케이스(15~300초)로 37개 모델을 평가한 결과, 시각적 품질이 높아도 요청을 확실하게 수행하는 것과 상태의 일관성을 유지하는 것은 여전히 과제인 것으로 나타났다. 요청 수행 최고 점수는 아바타 연기 모델 7종의 Following에서 36.90, 텍스트 조건부 월드 생성의 Following에서 25.93, 참조 편집 모델 3종의 Edit Success에서 15.00에 그쳤다.

Code2Video-Compass：T2V·I2V·V2V를 지원하는 코드 기반 동영상 생성 벤치마크

Code2Video-Compass는 텍스트·이미지·동영상을 입력으로 하는 코드 기반 동영상 생성을 평가하는 범용 벤치마크로, T2V, I2V, V2V 세 가지 설정을 지원한다. 10개 카테고리, 24개 서브타입, 3가지 복잡성 차원으로 구성된 2,104개의 과제를 포함하며, 객관 지표 12종과 주관 지표 5종으로 평가한다. 9개 계열의 독점 및 오픈 웨이트 MLLM 15종을 평가한 결과, 최상위 모델도 고품질 동영상을 안정적으로 생성하기는 어려웠으며, 구성·동적 애니메이션·상태 의존적 복잡성이 높아질수록 성능이 떨어지는 경향이 나타났다.

Kling AI, 영상 생성 모델 Kling 4.0 공개… 스테레오 음성·다국어 립싱크 지원

Kling AI가 동영상 생성 모델 Kling 4.0을 공개했다. 한 번의 생성으로 최대 30초 길이의 동영상을 출력할 수 있으며, 최대 10장의 키프레임 이미지를 입력할 수 있다. 스테레오 음성과 10개 이상 언어의 립싱크를 지원하며, 저비용·고속의 경량 버전인 Kling 4.0 Flash도 함께 제공한다. API 요금은 아직 발표되지 않았다.

TwelveLabs、Pegasus 1.5를 Amazon Bedrock에서 제공 시작

TwelveLabs의 동영상 언어 모델 Pegasus 1.5가 Amazon Bedrock에서 이용 가능해졌다. 긴 동영상을 분석해 지정한 조건에 맞는 구간을 타임스탬프가 포함된 구조화된 JSON으로 반환한다. Amazon S3의 URI 또는 base64 문자열로부터 사전 인덱스 작업 없이 동영상을 분석할 수 있으며, 동영상 처리 능력은 요청 1건당 최대 2시간까지 확대됐다(Pegasus 1.2는 1시간).

xAI, 이미지로 동영상을 생성하는 grok-imagine-video-1.5-preview를 API로 프리뷰 공개

xAI는 정지 이미지로부터 동영상을 생성하는 이미지-투-비디오 모델 「grok-imagine-video-1.5-preview」를 xAI API를 통해 프리뷰로 제공하기 시작했다고 밝혔다. 시작 프레임과 움직임을 설명하는 프롬프트를 입력하면 카메라 움직임, 분위기, 물리적 표현을 포함해 장면을 애니메이션으로 만들며, 입력 이미지에 충실한 영상을 생성한다. 최대 720p 클립을 만들 수 있으며, 여러 장면을 이어 붙여 프로젝트 전체에서 일관된 모습을 유지하는 긴 영상을 만드는 것도 가능하다.

xAI, 이미지에서 동영상을 생성하는 Grok Imagine Video 1.5를 Imagine API로 정식 출시

xAI는 Grok Imagine Video 1.5를 Imagine API로 정식 출시하고, 고속 버전인 Video 1.5 Fast를 grok.com/imagine과 iOS·Android 앱에 공개했다고 밝혔다. Video 1.5 Fast는 6초 길이, 720p 동영상을 약 25초 만에 생성하며, 기존 모델의 40초 이상에서 단축됐다. Projects, 여러 에이전트의 병렬 실행, 라이브러리 검색 등 새 기능도 며칠에 걸쳐 순차적으로 제공될 예정이다.

xAI, Imagine Video 1.5에 이미지·오디오 레퍼런스와 1080p 생성 추가

xAI는 동영상 생성 모델 Imagine Video 1.5에 이미지 및 오디오 레퍼런스, 프롬프트만으로 동영상을 만드는 text-to-video, 네이티브 1080p 생성 기능을 추가했다고 밝혔다. 레퍼런스는 한 번의 생성에 최대 7개까지 사용할 수 있으며, 얼굴, 제품, 장소 등을 고정할 수 있다. 이미지·오디오 레퍼런스는 미국의 SuperGrok Heavy 및 SuperGrok Plus 구독자에게 먼저 제공되며, 며칠 안에 모든 요금제로 확대된다.

SpecKCast, 주파수 영역 칼만 필터 예측으로 디퓨전 Transformer 가속

SpecKCast는 디퓨전 Transformer(DiT)의 출력을 주파수 영역에서 예측하는, 학습이 필요 없는 가속 기법이다. 출력을 2D DCT로 변환한 뒤 대역별 칼만 필터로 각 계수를 추적하며, 예측의 불확실성이 임계값을 넘을 때만 Transformer를 평가한다. FLUX.1-dev, Qwen-Image, Wan2.1-14B, HunyuanVideo에서의 실험에서는 기존 캐시 기법과 예측 기법을 웃도는 속도와 품질의 균형을 보였으며, 0.05GiB 미만의 추가 메모리로 최대 6배의 가속을 달성했다.

AI 생성 여성 계정이 스탠드업 코미디언의 개그를 무단 복제, Instagram 약관은 적용 대상이 아니라고 답변

WIRED는 AI로 생성된 여성 계정들이 적어도 8명의 스탠드업 코미디언 영상을 복제해 노출이 많은 영상 형태로 퍼뜨리고 있다고 보도했다. Meta는 이것이 사칭이 아니라 개그 소재의 무단 전용에 불과하다며 규약 위반에는 해당하지 않는다고 답변했다. Instagram 책임자 Adam Mosseri는 AI 콘텐츠를 전면 금지하는 것은 현실적이지 않다고 하면서도, 원작자에게 이용자를 안내하는 데는 힘을 쏟고 있다고 말했다.

대화형 동영상 생성에서의 Speculative Sampling

Speculative Sampling은 자기회귀형 동영상 생성을 대화적으로 작동시키기 위한 학습이 필요 없는 기법이다. 양방향 어텐션 윈도우 방식의 MiniMax H3에 적용하면 Self-Forcing 계열의 자기회귀 후학습을 거치지 않고도 대화형으로 바꿀 수 있으며, 새로운 사용자 입력부터 첫 응답 프레임이 표시되기까지의 엔드투엔드 지연 시간은 약 1.4초다. 모델은 한 번에 5초 분량의 동영상을 동시에 샘플링한다.