EgoXperience: 인간의 경험으로 세계에 뿌리내린 에고센트릭 표현 학습

EgoXperience는 단안 1인칭 시점(에고센트릭) 영상과 첫 프레임의 물체 마스크로부터 카메라, 장면, 손, 물체를 공통 월드 좌표계에서 한 번의 순전파로 동시에 재구성하는 통합 프레임워크다. 자동 어노테이션 엔진 EgoX-Engine으로 만든 50시간 규모의 데이터셋 EgoX-Data-6M으로 학습했다. 실험 결과 가장 강력한 베이스라인과 비교해 카메라, 손, 깊이의 오차를 각각 68.9%, 65.6%, 42.9% 줄였고, 물체 자세 점수는 28.0% 향상된 것으로 나타났다.