Ego2Robot: 1인칭 인간 영상을 대규모 로봇 학습 데이터로 변환

도입

로봇 조작 정책이 진짜로 잘 작동하려면, 적은 수의 시연만으로는 부족하다. Ego2Robot은 1인칭 인간 조작 영상을 대규모 로봇 학습 데이터로 바꿔, 비전-언어-행동 모델의 사전학습에 활용할 수 있는지 보여준다.

핵심 포인트

• 변환 파이프라인 제안: 동작 리타기팅, 로봇 팔 시각 합성, 다단계 품질 관리를 포함한다.
• 데이터 소스가 넓음: 정제된 데이터셋과 실세계 영상 모두를 활용한다.
• 대규모 데이터 생성: 총 18,561시간의 로봇 학습 데이터를 만들었고, 15가지 로봇 형태를 포함한다.
• 평가 방식 확장: RoboTwin2.0을 확장해 시각 외형, 장면 배치, embodiment 형태, 태스크 의미를 분리된 교란 축으로 검증했다.
• 일반화 향상 확인: Ego2Robot 합성 데이터와 실제 로봇 데이터를 함께 사전학습하면 여러 교란 조건에서 OOD 일반화가 개선된다.

의미

이 작업은 로봇 데이터 수집을 단순한 기록 작업이 아니라, 인간 행동을 대규모로 변환하는 데이터 엔지니어링 문제로 바라본다. 만약 이 접근이 더 널리 검증된다면, 로봇 학습은 비싼 실기기 수집만으로는 얻기 어려운 다양성을 확보할 수 있다.

또한 평가를 여러 축으로 나눈 점이 중요하다. 로봇 시스템은 외형, 배치, 몸체 구조, 작업 의미가 조금만 달라져도 성능이 흔들릴 수 있다. 분리된 교란 축은 모델이 진짜로 일반화하는지 판단하는 데 도움을 준다.

결론

Ego2Robot은 1인칭 영상을 로봇 학습의 핵심 원천으로 바꾸려는 시도다. 로봇 분야에서 앞으로 중요한 것은 단순 수집이 아니라, 대규모 변환과 재사용이 될 수 있음을 보여준다.

출처: Hugging Face Daily Papers