HuGe, 1인칭 경험으로 범용 휴머노이드 VLA를 학습하다

들어가며

휴머노이드 로봇이 명령을 실제 행동으로 바꾸려면 물체와 언어를 이해하는 것만으로는 부족합니다. 다리, 몸통, 팔, 손을 동시에 조정하면서 안정적인 이동과 조작을 수행해야 합니다. 이를 위한 시연 데이터를 실제 로봇에서 대규모로 수집하는 일은 비용이 크고, 다양한 작업을 충분히 포함하기도 어렵습니다. 반면 사람이 착용한 카메라로 얻은 1인칭 데이터는 풍부하지만 인간과 로봇의 신체 구조 및 시각적 외관이 다르고, 로봇 제어에 필요한 관절 상태 같은 고유수용감각 정보도 빠져 있습니다.

HuGe(Humanoid Generalist)는 이 간극을 줄이기 위한 비전-언어-행동 모델 계열입니다. 인간의 1인칭 데이터와 로봇 데이터를 합쳐 2,000시간 이상 사전학습하고, 일반적인 행동 경험을 특정 휴머노이드 정책으로 옮기는 학습 절차를 제안합니다.

핵심 내용

• 잠재 동작 토큰 사용: HuGe는 모든 관절 명령을 직접 출력하는 대신, 사전학습된 전신 컨트롤러가 사용할 잠재 동작 토큰을 예측합니다. 동시에 손 제어 신호도 생성해 고수준 판단과 저수준 전신 협응을 나눕니다.
• 3단계 학습 파이프라인: 1인칭 사전학습, 휴머노이드 적응, 다운스트림 미세조정을 순서대로 진행합니다. 이를 통해 일반적인 행동 경험에서 하드웨어 제약과 구체적인 작업 요구로 점진적으로 맞춰갑니다.
• 가상 고유수용감각 생성: 인간 영상에는 로봇의 관절 상태가 없기 때문에, 사전학습 단계에서 시뮬레이션으로 동작을 재생해 의사 고유수용감각 상태를 구성합니다.
• 시각적 신체 차이 보정: 다운스트림 미세조정 때 1인칭 관찰 영상 속 팔의 외관을 다시 렌더링해 목표 휴머노이드와 더 가까운 시각 입력을 만듭니다.
• 여러 VLA 구조 지원: Qwen3-VL-2B-Instruct 기반의 OFT, GR00T, Pi 스타일 정책을 제공해 특정 VLA 구조 하나에만 의존하지 않는 구성을 보여줍니다.

의미와 영향

HuGe의 핵심은 인간 데이터의 규모와 로봇 데이터의 신체적 대응성을 결합하는 데 있습니다. 인간의 1인칭 경험은 더 다양한 작업과 움직임에 대한 사전 지식을 제공하고, 적응 단계는 이를 특정 로봇이 실행할 수 있는 표현으로 바꿉니다. 이 방식이 안정적으로 작동한다면 로봇 플랫폼과 작업마다 실기 시연을 처음부터 대량 수집해야 하는 부담을 줄일 수 있습니다.

제공된 자료에 따르면 HuGe는 HumanoidArena 시뮬레이션 벤치마크에서 최고 수준의 성능을 기록했습니다. 또한 Unitree G1을 이용한 실제 실험에서는 시각적으로 보정한 인간 1인칭 시연을 로봇 시연과 함께 사용했을 때 pick-and-drop 작업 성공이 향상됐습니다. 다만 자료에는 구체적인 점수, 비교 기준, 실패 사례가 제시되지 않았습니다. 따라서 이 결과는 모든 환경에서의 일반적 보장이라기보다, 서로 다른 신체 간 전이가 가능하다는 연구진의 검증 결과로 해석하는 것이 적절합니다.

더 넓게 보면 HuGe는 인간 데이터를 단순한 시각 사전학습 자료가 아니라 로봇 컨트롤러와 연결할 수 있는 행동 경험으로 활용하려는 흐름을 보여줍니다. 앞으로는 신체 차이를 반영한 상태 추정, 정교한 손 조작, 긴 순서를 안정적으로 수행하는 능력이 실제 환경 적용의 핵심 과제가 될 것입니다.

출처: Hugging Face Daily Papers