λ₀, 500시간 인간 데이터로 휴머노이드 이동 조작 학습

휴머노이드가 현실 세계에서 작업하려면 팔을 움직이는 것만으로는 충분하지 않다. 목표 지점까지 걸어가고, 자세를 조정하고, 균형을 유지하면서 손과 몸 전체를 함께 제어해야 한다. 로봇 시연 데이터는 이런 능력을 학습하는 데 유용하지만, 대규모로 수집하기에는 비용과 시간이 많이 든다. λ₀ 프로젝트는 인간 행동을 더 확장 가능한 학습 신호로 활용하는 방법을 제시한다.

핵심 내용

• 전신 행동을 수집한다. HumanVerse는 개방 환경에서 인간이 이동하며 물체를 조작하는 장면 500시간을 담고 있다. 1인칭 영상에 신체와 손의 동작을 동기화해, 손 동작만으로는 놓치기 쉬운 보행, 자세 변화, 전신 협응 정보를 보존한다.
• 인간과 로봇 사이의 차이를 보정한다. 인간과 휴머노이드는 신체 비율, 카메라 위치, 움직임의 역학이 다르다. 연구팀은 카메라 시점과 팔의 외형을 맞추고, 동작 참조와 제어기 입력을 오프라인에서 조정한다. 목표는 전신 협응을 유지하면서 말단 실행기의 오차를 줄이는 것이다.
• 대상 작업의 로봇 시연 없이 평가한다. Unitree G1에서 대표적인 전신 조작과 장거리 이동 조작 작업으로 제로샷 전이를 검증했다. 평가하려는 작업마다 별도의 로봇 시연을 제공하지 않았다는 점이 특징이다.
• 데이터 규모와 성능의 관계를 확인한다. 연구팀은 로봇에 맞게 정렬된 인간 시연을 중간 학습 단계의 감독 신호로 활용해 전신 이동 조작 기반 모델 λ₀를 개발했다. 전신 인간 데이터를 늘릴수록 downstream 작업의 진행도가 일관되게 개선됐으며, 논문은 SIMPLE에서 90.0%, 실제 세계 이동 조작 작업 전체에서 62.5%의 성공률을 보고한다.

의미와 한계

이 연구의 핵심은 단순히 인간 영상을 많이 모았다는 데 있지 않다. 1인칭 영상은 환경과 작업의 맥락을 제공하고, 신체와 손의 움직임은 자세·보행·협응 정보를 제공한다. 여기에 시점 정렬과 제어 입력 보정을 적용해, 인간의 행동을 휴머노이드가 실제로 실행할 수 있는 형태에 가깝게 만들려 한다. 즉 인간 동작을 그대로 복사하는 대신, 로봇의 제어 특성에 맞춰 변환하는 파이프라인을 학습 과정에 포함한 것이다.

다만 인간 데이터만으로 신체 형태 차이, 접촉 역학, 제어 안정성이 모두 해결되는 것은 아니다. 이번 결과는 휴머노이드가 범용 자율성을 확보했다는 의미보다는, 로봇 데이터를 대규모로 모으기 어려울 때 전신 인간 행동을 활용하는 데이터 전략이 가능하다는 근거로 보는 편이 적절하다. 앞으로는 데이터의 다양성, 정렬 품질, 로봇 플랫폼별 적응성이 중요한 과제로 남는다.

출처: Hugging Face Daily Papers