Google DeepMind, 실시간 월드 모델 Genie 4 발표…음성 및 대화 지원

Genie 4는 완성된 영상을 출력하는 것이 아니라, 입력에 반응하면서 장면을 1프레임씩 계산하는 세계 모델이다. 사용자는 키보드로 이동하고 텍스트 프롬프트로 사건을 조작한다. DeepMind에 따르면 음성을 직접 생성하는 실시간 세계 모델로서 회사 최초이며, 세계마다 바람 소리 등 환경음이 붙는다. 등장인물 간의 대화와 사용자 입력에 대한 반응도 다룬다. 인물 묘사에서 리얼리즘이 가장 크게 향상되었다고 밝혔다.

구조 면에서는 동영상 모델 Gemini Omni의 능력을 기반으로 하며, 다른 Gemini 모델들이 시뮬레이션의 계획을 뒷받침해 일관성을 유지한다. 날씨를 프롬프트로 바꾸면 Gemini가 지시를 실행 중인 장면에 맞춰 조정한다. 예를 들어 Gemini 3.8 Flash가 장면을 지속적으로 관찰하고, 목표를 절차로 나누며, 새 프레임에서 각 절차의 성공 여부를 확인한다. 상황이 바뀌거나 사용자가 개입하면 계획을 수정한다.

로봇 연구 Gemini Robotics와의 연계도 시험 중이다. Gemini 4 Argon이 체커 게임이라는 과제를 절차로 나누고, Genie 4가 그 텍스트 지시에 따라 Apptronik의 휴머노이드 로봇 Apollo가 노는 모습을 시뮬레이션하는 데모가 있다. 실제 기기는 사용하지 않았다.

DeepMind는 Genie 4를 초기 단계의 실험적 모델로 자리매김하고 있다. 짧은 세션에서는 세계가 일관되지만, 긴 시뮬레이션이나 복잡한 프롬프트 변경을 거듭하면 세부 외형이 바뀌거나 물체가 유지되지 않는 경우가 있다. 복잡한 물리적 상호작용, 정확한 실시간 음성, 읽을 수 있는 문자는 연구 중이다. 앞으로 Project Genie 웹 앱을 통해 Google AI Ultra 구독자에게, 그리고 Gemini API와 Google AI Studio의 얼리 액세스 파트너에게 제공될 예정이며, 영상과 음성에는 SynthID 워터마크가 삽입된다.