RoboTok, 인터넷 영상에서 손 동작이 비슷한 로봇 학습 데이터를 찾다

배경

로봇이 정교한 조작을 배우려면 물체, 환경, 카메라 시점, 수행 방식이 서로 다른 다양한 시연이 필요합니다. 하지만 실제 로봇을 이용한 데이터 수집은 비용이 높고, 실험실에서 다룰 수 있는 작업도 제한적입니다. 현실 세계의 드문 상황과 장尾 작업까지 폭넓게 다루는 데이터셋을 구축하기는 더욱 어렵습니다. RoboTok은 인터넷 영상을 단순한 시각 자료가 아니라 검색 가능한 인간 조작 시연의 저장소로 활용하려는 접근입니다.

작동 방식

사용자는 인간이 조작을 수행하는 영상을 하나 입력합니다. RoboTok은 이를 질의로 삼아 인터넷 영상 중 비슷한 조작 행동을 보여주는 사례를 찾습니다. 핵심은 전체 장면의 외관보다 손의 움직임을 중심으로 영상을 비교하는 것입니다.

• 영상에서 3차원 손 궤적을 추정합니다.
• 궤적을 행위자 중심의 기준 좌표계로 표현해 카메라 방향과 장면 배치의 영향을 줄입니다.
• 손 자세와 궤적에서 검색에 적합한 압축형 잠재 운동 공간을 학습합니다.
• 이 표현을 인터넷 영상 컬렉션에 색인해 대규모 검색과 지속적인 업데이트를 지원합니다.

같은 ‘잡기’, ‘돌리기’, ‘놓기’ 동작도 촬영 각도와 배경, 물체의 모양이 달라지면 픽셀 수준에서는 전혀 다른 영상처럼 보일 수 있습니다. 그러나 손의 공간적·시간적 변화에는 공통된 구조가 남을 수 있습니다. RoboTok은 이러한 구조를 활용해 조작과 무관한 시각적 차이의 영향을 줄이려 합니다. 일부 손이나 팔이 가려지는 상황에서도 손 궤적은 유용한 비교 단서가 될 수 있습니다.

의미와 남은 과제

제공된 자료에 따르면 RoboTok은 검색 벤치마크와 하위 로봇 정책 학습에서 평가됐습니다. 그 결과 기존 로봇 데이터 검색 접근법보다 더 관련성 높은 조작 시연을 검색했고, 이후 작업 성공 성능도 향상했습니다. 따라서 이 연구의 의미는 새로운 동영상 검색 기능을 추가하는 데 그치지 않습니다. 인터넷 인간 영상, 동작 표현, 로봇 정책 학습을 연결하는 확장 가능한 데이터 흐름을 제안했다는 데 있습니다.

다만 인간의 시연 영상이 곧바로 로봇용 학습 데이터가 되는 것은 아닙니다. 인간과 로봇은 신체 구조와 센서, 시점, 제어 인터페이스, 수행 가능한 동작이 다릅니다. 검색된 영상은 품질 검수, 조작 구간 분할, 신체 구조에 맞춘 변환과 정렬을 거쳐야 할 가능성이 큽니다. RoboTok의 직접적인 기여는 이러한 후속 처리에 앞서 유용한 후보 시연을 대규모로 발견하도록 돕는 것입니다.

코드와 데이터, 모델이 공개된 만큼 커뮤니티는 다양한 작업과 로봇 플랫폼에서 재현성과 전이 가능성을 검증할 수 있습니다. 향후 자세 추정과 서로 다른 신체 사이의 동작 변환이 발전하면, 동작 기반 영상 검색은 지속적으로 확장되는 피지컬 AI 데이터 파이프라인의 한 층이 될 수 있습니다.

출처: Hugging Face Daily Papers