FrameForge, 동영상 기반 모델의 사전 지식을 활용한 통합 이미지 생성

FrameForge는 사전 학습된 동영상 모델을 활용해 통합적인 조건부 이미지 생성을 수행하는 기법이다. 동적으로 선택되는 가상 시간 간격의 시간적 RoPE 전문가(MoTE)로 조건과 목표 사이의 거리를 모델링하고, 잠재적 중간 상태를 거치는 시간적 추론(CoTR)으로 변환 과정을 표현한다. DreamBench, COCO2017, GEdit-Bench에서의 실험에서는 피사체 기반 생성, Canny-to-image 생성, 이미지 편집에서 비교 대상 기법들 가운데 우수한 성능을 달성했다.