영상 생성용 MLLM 잠재 표현을 활용하는 Factor-Aware Predictive Learning(FAPL)

Factor-Aware Predictive Learning(FAPL)은 MLLM의 잠재 표현을 video diffusion transformer(DiT)에서 활용할 수 있도록 하는 학습 기법이다. 단계적 학습을 통해 희소한 입력으로부터의 시간적 추론과, 캐릭터·장면·동작·카메라 등 요소별 제어를 동시에 달성한다. 논문에 따르면 sparse-to-video, factor-aware editing, multi-shot generation 등 3가지 시네마틱 영상 생성 과제에서 베이스라인을 웃도는 성능이 보고되었다.