RoboTryOn, 인간 영상을 로봇 시연 데이터로 바꾸다

로봇 파운데이션 모델은 제어 성능을 빠르게 높이고 있지만, 새로운 작업에 적용하려면 여전히 원격 조작으로 수집한 시연 데이터가 필요한 경우가 많습니다. 이 과정은 비용과 시간이 많이 들고, 로봇의 형태와 작업 종류가 늘어날수록 확장하기 어렵습니다. RoboTryOn은 규모 있게 확보할 수 있는 인간 영상을 로봇 정책 학습용 시연으로 변환하는 방법을 탐구합니다.

옷이 아니라 실행자를 교체하는 발상

이름의 모티브는 가상 피팅입니다. 가상 피팅이 사람과 장면을 그대로 둔 채 옷을 바꾼다면, RoboTryOn은 인간에서 로봇으로의 변환에 같은 발상을 적용합니다. 즉, 인간 영상 속 작업, 조작 대상, 배경, 동작 의도는 유지하면서 실행자만 참조 이미지로 지정된 목표 로봇으로 바꿉니다.

입력은 1인칭 시점의 인간 조작 영상입니다. 출력은 목표 로봇이 같은 작업을 수행하는 것처럼 보이는 합성 영상과 정책 학습에 사용할 행동 정보입니다. 사람 영상 위에 렌더링된 로봇을 단순히 덧씌우거나, 인간의 자세를 로봇 관절 명령으로 직접 변환하는 방식과 달리, 고자유도 로봇에서 발생하는 시각적 차이와 제어상의 간극을 함께 줄이려는 접근입니다.

키프레임과 손 골격으로 움직임을 전달

RoboTryOn은 영상에서 선택한 키프레임을 자기회귀적으로 변환합니다. 변환된 프레임은 이후 영상 생성 과정을 안내해 시간에 따른 로봇의 외형을 일관되게 유지하도록 돕습니다. 또한 인간의 손 골격을 모션 조건으로 사용해, 물체를 조작할 때 중요한 손의 움직임이 생성된 로봇 동작에 반영되도록 합니다.

하지만 그럴듯한 영상만으로는 로봇 정책을 학습하기 어렵습니다. 연구진은 역동역학 모델을 추가해 합성 영상에서 행동 라벨을 추정합니다. 이 모델은 깊이 특징도 사용하므로 일반적인 RGB 영상만으로는 모호할 수 있는 물체와의 거리, 공간적 관계 같은 정보를 보완할 수 있습니다. 결과적으로 RoboTryOn의 출력은 시각적 시뮬레이션에 그치지 않고, 정책 학습에 투입할 수 있는 합성 시연 데이터가 됩니다.

성과와 남은 과제

여러 휴머노이드 로봇 형태를 대상으로 한 실험에는 새로운 작업과 까다로운 양팔 조작이 포함됐습니다. 논문에 따르면 해당 작업에 대한 실제 로봇 시연이 없는 상황에서도 RoboTryOn 합성 데이터로 학습한 정책의 평균 성공률은 2%에서 60%로 향상됐습니다. 원격 조작 시연만으로 학습한 정책에 가까운 성능을 보이면서도, 데이터 수집 비용은 약 3분의 1 수준이었다고 보고합니다.

이 연구의 핵심 의미는 풍부한 인간 영상과 부족한 로봇 제어 데이터를 연결한다는 데 있습니다. 모든 로봇과 작업마다 원격 조작을 반복하지 않고도 데이터의 범위를 넓힐 가능성을 제시하며, 서로 다른 로봇 형태로 지식을 이전하는 새로운 경로가 될 수 있습니다.

다만 시각적으로 일관된 합성 영상이 실제 로봇의 접촉 물리, 힘, 동역학, 관절 궤적까지 정확히 보장하는 것은 아닙니다. 가림, 물체 접촉, 로봇 형태의 차이, 행동 라벨 추정 오류는 실제 환경에 배치할 때 중요한 변수입니다. 앞으로는 더 다양한 로봇과 환경에서 합성 데이터가 실제 실행으로 얼마나 안정적으로 이어지는지 검증해야 합니다.

출처: Hugging Face Daily Papers