Open-HumanScale, 5만 시간 인간 영상으로 로봇 학습 확장

로봇 조작 능력을 학습시키려면 많은 시연 데이터가 필요하지만, 로봇으로 고품질 데이터를 직접 수집하는 데는 비용과 시간이 든다. 인간의 1인칭 영상은 훨씬 풍부한 경험을 제공할 수 있지만, 특정 로봇이 그대로 실행할 수 있는 행동 궤적을 담고 있는 것은 아니다. Open-HumanScale은 이 간극을 줄이기 위해 인간 경험을 임바디드 파운데이션 모델의 사전학습에 활용하는 공개 레시피를 제안한다.

핵심 자원은 5만 시간 규모의 Open-HumanScale-50K 코퍼스다. 영상은 선별 과정을 거쳤으며 손의 움직임과 자연어가 촘촘하게 주석됐다. 연구진은 단순히 영상 시간을 늘리는 것만으로는 충분하지 않으며, 데이터 큐레이션과 다양성, 주석 방식, 훈련 설계가 로봇 정책의 일반화 성능을 좌우한다고 설명한다.

핵심 내용

• 인간 영상의 스케일링 효과를 측정했다. 폐루프 시뮬레이션 평가를 통해 사전학습 영상 시간과 로봇 작업 성능의 관계를 분석했다. 결과는 경험적인 로그-선형 경향을 보였고, 데이터 다양성이 높을수록 규모 확대의 효과가 커졌다. 인간 영상 사전학습은 로봇 시연으로 추가 학습할 때의 효율도 높였다.
• HumanWAM-Vanilla는 인간 경험을 분리해 검증한다. 5만 시간의 인간 1인칭 영상만으로 사전학습한 세계-행동 모델이며, 이후 로봇 데이터로 후속 학습을 진행한다. RoboTwin 2.0에서 Clean2Clean 성공률은 92.08%, Clean2Random은 68.88%였다. RoboDojo에서는 평균 성공률 14.17%, 평균 진행 점수 19.00을 기록했다.
• HumanWAM-Goal은 인간과 로봇 데이터를 결합한다. 로봇 경험을 추가하고 시각적 목표를 조건으로 사용해 목표 이미지에 따라 행동을 조정하도록 설계됐다. 후속 학습 이후 RoboTwin 2.0의 Clean2Clean에서 92.70%, Clean2Random에서 84.60%를 달성했으며 두 설정의 평균은 88.65%였다.
• 파라미터 업데이트 없는 적응을 탐색한다. 공개된 결과에 따르면 모델은 시뮬레이션과 실제 로봇 환경에서 새로운 시각적 목표에 맞춰 조작 행동을 바꿀 수 있다. 목표 작업마다 모델 파라미터를 다시 업데이트하지 않는 것이 특징이다.

이 연구의 의미는 대규모 영상 데이터셋 자체에만 있지 않다. 인간 경험 중 어떤 요소가 로봇으로 이전되는지, 로봇 데이터를 어느 단계에서 추가해야 하는지, 시각적 목표 조건이 작업 간 전이를 어떻게 돕는지를 재현 가능한 방식으로 분석할 수 있게 했다. 1인칭 영상은 특정 로봇의 정확한 실행 궤적을 제공하지 않지만, 손과 물체의 접촉 방식, 움직임의 패턴, 작업의 구조 같은 조작 사전지식을 포함할 수 있다.

연구진은 코퍼스와 데이터 큐레이션·사전학습 파이프라인, HumanWAM 체크포인트, 추론 코드, 시뮬레이션 평가 도구를 공개했다. 문서와 업로드가 계속 갱신되고 있으므로 사용자는 실제 공개 설정과 평가 조건을 확인할 필요가 있다. 그럼에도 Open-HumanScale은 인간 경험과 로봇 경험을 함께 확장하는 방법을 연구할 수 있는 공개 기반을 제공한다는 점에서 의미가 있다.

출처: Hugging Face Daily Papers