RoboValue: 로봇 가치 모델을 통합 평가하는 시뮬레이션·실제 로봇 벤치마크

RoboValue는 로봇 가치 모델을 시뮬레이션과 실제 로봇 양쪽에서 통합적으로 평가하는 벤치마크다. 작업 상태 이해, 시간에 따른 진행 추적, 실패로부터의 회복 추론, 가치 일관성 등 4가지 능력을 평가하며, 시뮬레이션 15개 작업과 실제 로봇 20개 작업의 조작 데이터셋을 포함한다. 대표적인 모델들은 성과나 전진 진행도 점수가 높았지만, 세부 지시 파악, 이력에 의존하는 진행 추적, 회복 평가에서 오류를 보였다고 한다.