Google DeepMind, 로봇용 추론 모델 Gemini Robotics ER 2 공개

Gemini Robotics ER 2는 로봇의 고수준 두뇌로 자리매김하며, 사람과의 대화, 물리 세계 이해, 여러 단계로 이루어진 작업 계획을 담당한다. 모터 제어는 하위의 비전·언어·행동(VLA) 모델에 맡기며, Google Search나 사용자 정의 함수 같은 도구도 호출할 수 있다. 개발자는 VLA와 내비게이션 API를 도구로 선언하고, 영상, 음성, 텍스트를 직접 스트리밍할 수 있다. Gemini Live API에 통합되어 동작 중에 다음 행동을 생각함으로써 '멈춰서 생각하는' 시간을 줄였다고 한다. Boston Dynamics의 Spot을 활용한 데모에서는 자연어 지시로 물건을 가져오는 동작을 구현했으며, 코드는 Github에 공개되어 있다.

시간적 이해에서는 진행 분류와 순간 검출 두 가지 기능이 강화됐다. 진행 분류는 영상의 각 프레임을 0-20%부터 80-100%까지 5단계로 나누는 기능으로, 정확도는 57.4%로 기존 모델과 다른 최첨단 모델을 웃도는 것으로 알려졌다. 순간 검출에서는 정확도 91.3%, 평균 절대 거리 0.96초를 기록했으며, 더 큰 모델에 가까운 성능을 적은 연산 비용과 4배 빠른 실행 속도로 구현했다고 한다. 이를 통해 전구 조이기, 쓰레기봉투 묶기 같은 작업의 완료 확인과 실패 시 재시도가 가능해진다.

다중 로봇 협업에서는 서로 다른 종류의 로봇이 공유된 의미 이해를 통해 작업을 이어받는다. Apptronik의 Apollo 2와 Franka F3 Duo가 협력하는 데모가 소개됐다. 공간 지능에서는 성공·실패 검출이 정지 이미지에서 원본 영상으로 확장됐고, 계기 판독은 디지털 디스플레이, 리니어 스케일, 자, 액체 온도계를 포함한 10종류에서 검증됐다. 공간 VQA도 개선되어 ERQA 등에서 최고 정확도를 보였다고 한다.

안전성에서는 Safety Instruction Following과 Human Proximity 벤치마크에서 ER 1.6 및 다른 모델을 앞섰다. 사람이 근처에 있으면 휴머노이드 로봇을 정지시키고, 구역이 비면 자율적으로 재개하는 동작도 확인됐다. 아울러 기반 모델이 안전한 VLA 오케스트레이터로 기능하는지를 측정하는 새로운 벤치마크를 도입했으며, 자세한 내용은 안전성 기술 보고서에서 공개됐다.