Hugging Face, 로봇 조작 데이터 기록 시스템 'Grabette' 오픈소스로 공개
Grabette: an open system to record robot-manipulation data
Hugging Face는 Pollen Robotics가 개발한 손에 쥐는 그리퍼형 조작 데이터 기록 시스템 Grabette를 공개했다. 로봇 없이 사람의 손 시연을 기록할 수 있으며, 브라우저에서 처리되어 LeRobot 형식의 데이터셋으로 변환된다. 하드웨어 CAD 및 제작 파일, 소프트웨어, 처리 파이프라인은 모두 오픈소스다.
Grabette는 어안 카메라와 RGBD 카메라 2대를 갖춘 손에 드는 그리퍼이며 IMU도 탑재한다. 넓은 시야의 어안 카메라는 정책에 필요한 시점을 제공하고, RGBD 카메라는 6-DoF 궤적 추적을 맡는다. 부품표 기준 비용은 Grabette가 약 490€, 로봇 팔에 쓰는 모터 구동 그리퍼 Gripette가 약 120€로 알려져 있다. 구성 부품은 Raspberry Pi, 표준 Pi 카메라, 시판 OAK-D 깊이 카메라, 자기 엔코더 등이다.
사용 방법은 2단계다. 버튼을 누르면 관측 카메라, 추적 카메라, 그리퍼 엔코더 값이 공통 클록으로 동시에 기록되고, 다시 누르면 Raspberry Pi에 저장된다. 이후 브라우저에서 Grabette 대시보드를 열어 에피소드를 고르면, HF Hub 업로드, RTAB-MAP 기반 SLAM과 궤적 검증, LeRobot 형식 변환, 데이터셋 업로드까지 한 번의 클릭으로 진행된다.
데모로는 200건의 시연 데이터로 확산 모델 계열인 Diffusion Policy(ResNet18과 SpatialSoftmax 인코더, DDIM 스케줄러, 6D 회전 액션)를 학습시키고, Gripette를 장착한 OpenArm의 7-DoF 팔로 평가했다. 다만 이는 활용 사례이며, 공개의 중심은 기록 시스템이라고 밝혔다.
데이터는 카메라 좌표계의 6-DoF 직교 자세와 그리퍼 상태로 저장되어 특정 로봇에 의존하지 않는다. 앞으로는 머리에 착용하는 POV 기기 Casquette를 개발 중이며, 커뮤니티가 함께 공유 데이터셋을 키워 나가자고 호소하고 있다.
출처: Hugging Face Blog · huggingface.co