4D 세계를 점 궤적 예측으로 학습하는 「Video-Point Model」

Video-Point Model(VPM)은 멀티뷰 영상의 과거 기록과 언어 지시로부터 임의의 시점에서의 미래 영상과 3D 점 궤적을 동시에 예측하는 세계 모델이다. 사전 학습된 세계 모델을 확장하고 궤적 헤드로 점의 시간적 움직임을 예측하도록 한 결과, 영상만 사용하는 모델보다 영상의 충실도와 3D 운동 정확도가 높아졌다고 보고됐다. 또한 로봇 행동을 토큰으로 추가한 모델은 시뮬레이션과 실기기 모두에서 조작 성공률이 향상된 것으로 알려졌다.