Matrix-Game 4.0, 동영상 모델로 실시간 플레이 가능한 게임 세계를 생성하는 연구

Matrix-Game 4.0은 조작 가능한 동영상에서 실제로 플레이 가능한 세계로 나아가려면 지속적인 세계 상태, 실행 가능한 게임 규칙, 낮은 지연의 상호작용이 필요하다는 전제에 선다. 이를 위해 게임 실행과 영상 생성을 실행 가능한 게임 하네스에서 분리하는 설계를 채택했다.

구성은 세 가지 요소로 이루어진다. 경량 게임 엔진이 세계 상태를 유지하고 상호작용 규칙을 실행하며, 멀티모달 코딩 에이전트가 플레이어의 아이디어를 게임 코드와 동적 장면 캡션으로 변환한다. 렌더러는 자기회귀형 동영상 모델을 기반으로 하며, 엔진이 그린 로우폴리 프록시 영상을 동적 캡션과 메모리 참조를 조건으로 정밀한 영상으로 변환한다. 이를 통해 자연어로 장면과 게임플레이를 만들고 수정할 수 있다.

렌더러는 로우폴리와 고정밀 동영상 쌍으로 학습했으며, 4프레임 단위로 생성하는 인과적 생성기로 증류했다. 디노이징은 1~2단계다. 추론 최적화와 함께 RTX 5090 1장으로 480p, 60 FPS, 지연 112ms를 실현했다. 1단계 생성에서는 정상 상태 처리량이 83FPS이고 GPU 메모리 최대 사용량은 18.2GiB다. 프롬프트를 고정한 조건에서는 RTX 5080에서 67FPS, RTX 5070Ti에서 58FPS에 도달한다.