Google DeepMind, 모든 입력으로 동영상을 생성하는 Gemini Omni Flash 발표

Gemini Omni는 Gemini의 추론 능력과 생성 능력을 결합한 새 모델로, 첫 출력은 동영상이다. Omni 패밀리의 첫 번째 모델은 Gemini Omni Flash이며, 이미지와 음성 출력에도 단계적으로 대응할 방침이 제시됐다. 입력으로는 이미지, 텍스트, 동영상, 음성을 조합해 사용할 수 있다. 다만 음성 참조는 처음에는 목소리만 지원되며, 다른 유형은 향후 확대될 예정이다.

동영상 편집은 자연어 대화로 진행한다. 지시는 앞선 편집 내용을 이어받으며, 캐릭터의 일관성과 물리적 정합성, 장면의 맥락이 유지된다고 한다. 환경, 앵글, 스타일, 세부 요소를 여러 턴에 걸쳐 바꾸거나 동영상 속 움직임과 등장하는 사물을 변경할 수 있다.

생성 측면에서는 중력, 운동에너지, 유체 거동 같은 물리 이해가 개선됐다고 설명한다. Gemini의 역사, 과학, 문화 지식을 활용해 짧은 프롬프트만으로 클레이 애니메이션 스타일의 단백질 접힘 해설 같은 동영상도 만들 수 있는 사례가 소개됐다.

안전 측면에서는 본인의 목소리를 사용하는 Avatars 기능으로 본인과 닮은 모습과 목소리의 동영상을 만들 수 있다. 반면 기존 동영상의 음성이나 발화를 바꾸는 편집은 책임 있는 제공 방식을 검토하기 위해 계속 테스트 중이다. Omni로 만든 동영상에는 SynthID 전자 워터마크가 삽입되며, Gemini 앱, Chrome의 Gemini, Google 검색에서 확인할 수 있다.

제공은 Google AI Plus, Pro, Ultra 구독자를 대상으로 Gemini 앱과 Google Flow에서 전 세계에 시작됐다. YouTube Shorts와 YouTube Create 앱에서는 이번 주부터 무료로 사용할 수 있다. 개발자와 기업을 위한 API 제공은 향후 몇 주 안에 이뤄질 예정이다.