ACT3D, 강화학습으로 시각언어모델이 3D 공간을 능동적으로 탐색하도록 학습

ACT3D는 단일 1인칭 시점 이미지에서 3D 환경을 능동적으로 탐색하도록 강화학습으로 훈련된 시각언어모델(VLM)이다. 6개 3D 벤치마크의 평균 정확도 53.2%를 달성해 기반 모델인 Qwen을 22.0%p 웃돌았고, 독점 모델인 Gemini 3.6 Flash도 넘어섰다. 기존 오픈소스 3D 기법보다 입력 프레임을 50~70% 적게 쓰면서도 더 높은 성능을 보였다. 학습 데이터에 없던 도메인에서도 지도학습으로 초기화한 모델보다 평균 5.9%p 개선됐다. 기반 모델 대비 개선 폭은 초기 시점만으로 답할 수 있는 질문에서는 0.6%였지만, 넓은 범위의 탐색이 필요한 질문에서는 16.3%로 커졌다.