Ropedia W0, 인간 경험으로 구현체를 넘나드는 이동·조작 세계 모델 확장

개요

체화된 에이전트는 관측을 행동으로 바꾸는 것만으로는 충분하지 않다. 행동 이후 카메라 시점과 신체 자세가 어떻게 바뀌고, 물체와 환경이 어떻게 변할지도 예측해야 한다. Ropedia W0는 이러한 예측을 수행하는 1인칭 시점 세계 기반 모델로, 이동과 조작을 별개의 능력으로 나누지 않고 하나의 모델에서 함께 학습하는 것을 목표로 한다.

핵심 내용

• 서로 다른 신체를 위한 공통 표현. 로봇마다 관절 수, 구조, 가동 범위, 행동 공간이 다르기 때문에 동일한 행동 라벨을 직접 공유하기 어렵다. Ropedia W0는 이동을 카메라 자세로, 조작을 투영된 운동학 골격으로 표현한다. 로봇 골격은 각 로봇의 순기구학 계산과 수작업 키포인트 주석 및 보정을 결합해 구성한다.
• 대규모 인간 경험의 활용. Xp-Data는 약 1만 시간의 인간 1인칭 영상과 3000시간의 로봇 데이터로 구성된다. 미터 단위 카메라 궤적, 운동학 골격, 계층적 캡션 등 통합 주석을 포함하며, 여러 출처의 데이터 품질 차이를 줄이기 위한 체계적인 관리도 적용했다.
• 이동과 조작을 함께 평가. 모델은 손이 물체에 접근하는 방식뿐 아니라 몸 전체가 대상에 다가가고 시점을 조정하며 장시간 작업을 이어가는 과정도 이해해야 한다. 연구진은 고품질 정교한 휴머노이드 원격조작 데이터를 활용한 장시간 이동·조작 벤치마크 Xp-Teleop도 제시했다.
• 예측에서 상호작용으로 확장. DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, AgiBot 등 5개 서로 다른 구현체 평가에서 제로샷, 소수샷, 전체 데이터 후학습 설정의 결과를 보고했다. 지식 증류 이후에는 수분 동안 이어지는 실시간 롤아웃과 라이브 VR 상호작용을 지원한다고 설명한다.

의미와 한계

Ropedia W0의 핵심 시사점은 목표 로봇과 정확히 같은 신체에서 수집한 데이터만으로 세계 모델을 학습해야 하는지에 대한 재검토다. 인간 영상은 규모와 행동의 다양성이 크지만, 로봇과 시점·동역학·실행 능력이 다르다. 카메라 움직임과 신체 기하를 공통 인터페이스로 정리하면, 환경 변화와 행동의 일반적 규칙은 공유하면서 실제 실행은 각 구현체에 맞게 처리할 수 있다.

인간 사전학습 데이터를 늘렸을 때 인간 영상과 로봇 평가가 모두 좋아졌다는 결과는, 값비싼 로봇 데이터의 부족분을 인간 경험으로 보완할 가능성을 보여준다. 그러나 이것이 곧바로 안정적인 로봇 제어를 의미하지는 않는다. 가림, 접촉 동역학, 하드웨어 제약, 장기 예측 오차는 여전히 실제 배치의 장애물이다. Ropedia W0는 정책 평가, 모델 기반 계획, 세계 모델과 행동 모델의 결합을 연결하는 기반 기술로 볼 수 있다. 향후에는 더 다양한 신체와 복잡한 작업에서도 공통 표현이 유지되는지, 그리고 예측 성능이 안전하고 검증 가능한 행동으로 이어지는지가 중요하다.

출처: Hugging Face Daily Papers