H2RB, 인간 시연을 로봇 VLA로 옮기는 연결 고리

들어가며

로봇에게 새로운 조작 기술을 학습시키는 과정에서 가장 큰 비용 중 하나는 대상 로봇에 맞는 시연 데이터를 수집하는 일입니다. 사람은 물체를 집어 옮기거나 목표 위치에 배치하는 행동을 쉽게 보여줄 수 있지만, 팔과 손의 자유도, 카메라 시점, 제어 신호는 로봇과 다릅니다. 따라서 인간의 궤적을 로봇의 명령으로 직접 복사하기는 어렵습니다.

H2RB(Human-To-Robot Bridge)는 이 문제를 해결하기 위해 사전학습된 비전-언어-행동 모델(VLA)을 인간과 로봇의 시연으로 적응시키는 방법입니다. 인간과 로봇의 궤적이 서로 짝지어져 있지 않아도 사용할 수 있으며, 모든 작업에 대해 대상 로봇의 시연을 새로 수집하는 상황도 전제로 하지 않습니다. 핵심은 관측 표현과 행동 표현을 각각 연결하는 것입니다.

핵심 설계

• 기하 기반 표현 정렬: 손의 기하 정보를 활용해 인간과 로봇의 관측을 호환 가능한 표현 공간에 배치합니다. 이를 통해 모델은 행동 주체의 차이보다 손, 물체, 목표 사이의 공간적 관계에 집중할 수 있습니다.
• 분리형 행동 디코딩: 분리된 디코더를 가진 토크나이저로 행동 잠재 표현은 공유하되, 인간과 로봇을 하나의 행동 변환 함수로 묶지 않습니다. 인간 시연에서는 행동 수준의 감독을 얻고, 로봇 측에서는 고유한 실행 방식을 유지할 수 있습니다.
• 이종 데이터 공동 학습: 인간과 로봇 데이터를 함께 학습해 인간 데이터의 행동 정보를 활용하면서도, 사전학습 VLA가 가진 시각·의미·제어 관련 사전 지식을 보존합니다.

실험 결과의 의미

실제 환경 작업에서 H2RB의 물체 전이 성능은 8.0에서 51.8로 높아졌습니다. 인간이 시연한 기술을 옮기는 데 실패한 공동 학습 기준선과 비교해, 기술 전이 점수는 62.7을 기록했습니다. 물체의 배치 위치를 바꾼 조건에서도 분포 밖 전이 성능은 6.0에서 45.3으로 개선됐습니다.

이 결과는 신체가 다른 두 영역을 하나의 보편적인 행동 번역기로 억지로 연결하기보다, 공유할 수 있는 행동 의도와 로봇에 남겨야 하는 실행 차이를 분리하는 것이 중요하다는 점을 보여줍니다.

영향과 남은 질문

H2RB는 로봇 데이터 수집을 확장하는 방향을 제시합니다. 비교적 쉽게 얻을 수 있는 인간 시연을 행동 감독으로 활용하고, 사전학습 모델과 로봇 데이터로 실제 실행 가능성을 유지하는 방식입니다. 이는 작업과 로봇별 전용 시연 데이터를 대량으로 수집해야 하는 부담을 줄일 가능성이 있습니다.

다만 제공된 자료만으로는 전체 작업 목록, 데이터 규모, 로봇 구성, 세부 절제 실험을 확인하기 어렵습니다. 시연 품질에 대한 민감도와 다양한 로봇 형태에서의 일반화 성능은 논문 전문을 통한 추가 검토가 필요합니다.

출처: Hugging Face Daily Papers