RynnWorld-Latent, 범용 잠재 행동으로 로봇의 몸체 차이를 넘다

배경

로봇 월드 모델은 장면의 다음 모습을 예측하는 데서 그치지 않고, 특정 행동이 어떤 시각적 결과를 만드는지 학습해야 합니다. 그러나 실제 데이터는 서로 맞지 않는 경우가 많습니다. 로봇마다 관절 구성, 말단 장치, 제어 명령 체계가 다르고, 인간의 상호작용 영상에는 로봇이 바로 실행할 수 있는 행동 라벨이 거의 없습니다. RynnWorld-Latent는 이 문제를 공통 잠재 행동 표현으로 해결하려는 연구입니다.

핵심 아이디어

이 방법은 RynnLAM이 제안한 3D 기반 잠재 행동을 중간 인터페이스로 사용합니다. 각 로봇의 원래 행동 공간을 하나로 억지로 맞추는 대신, 물체와 신체의 공간적 움직임 및 상태 전이를 표현하는 공통 기술을 학습에 활용합니다. 그 결과 인간 상호작용 영상, 서로 다른 로봇의 시연, 시뮬레이션 롤아웃을 원래 제어 형식까지 직접 통일하지 않고 공동 사전학습에 포함할 수 있습니다.

모델은 사전학습된 비디오 Transformer를 기반으로 하며, 행동 조건화에 두 가지 경로를 사용합니다.

• 전역 행동 토큰은 전체 행동의 의도와 전이 방향을 전달합니다.
• 국소 경로는 프레임과 정렬된 방식으로 행동 정보를 주입합니다. 항등 초기화를 사용해 전이 설명과 미래 비디오 잠재 표현 사이의 대응을 학습하도록 설계됐습니다.

논문은 23개 데이터세트, 약 5억5350만 프레임을 활용한 사전학습을 보고합니다. 이후 특정 대상 로봇에 맞춘 후속 학습을 진행해, 폭넓은 시각 동역학 학습과 플랫폼별 적응을 분리합니다.

데이터 생성 방식

연구는 두 가지 데이터 생성 경로를 제시합니다. 디지털 원격조작은 대상 로봇의 명령을 이용해 행동과 영상이 짝을 이루는 시연 데이터를 만듭니다. 잠재 행동 합성은 소스 동작을 편집된 초기 프레임으로 옮긴 뒤, 리타게팅한 의사 로봇 행동과 함께 롤아웃을 구성합니다. 전자는 대상 플랫폼의 실제 명령 체계에 더 가깝고, 후자는 다른 로봇과 환경에서 얻은 동작 지식을 재사용하기 쉽습니다.

공개 벤치마크와 두 개의 실제 로봇 플랫폼에서 비디오 예측 지표가 개선됐다고 보고됐습니다. 동일한 초기 관측에서 서로 다른 행동 시퀀스를 입력했을 때 행동을 구분해 따르는 정성적 결과도 제시됐습니다. 이는 모델이 장면의 외형만 복원하는 것이 아니라 행동과 그 결과 사이의 관계를 학습했을 가능성을 보여줍니다.

합성 데이터를 중간 학습에 사용하면 LIBERO와 LIBERO-Plus의 정책 성공률이 높아졌습니다. 실제 환경 평가에서도 두 생성 경로는 실제 시연만 사용한 학습보다 좋은 결과를 보였습니다. 다만 제공된 자료에는 구체적인 성공률 수치가 없으므로, 개선 폭은 원문에 제시된 평가 조건과 기준선에 따라 확인해야 합니다.

의미와 한계

RynnWorld-Latent의 중요한 점은 공통 행동 공간을 로봇의 저수준 명령이 아니라 공간적·시각적 전이 표현에서 찾았다는 것입니다. 먼저 다양한 영상으로 월드 모델을 학습한 뒤 특정 로봇에 적응하는 방식은 플랫폼별 라벨링 부담을 줄이고, 이기종 데이터를 더 폭넓게 활용할 가능성을 엽니다.

그러나 잠재 행동이 곧바로 실행 가능한 로봇 명령이 되는 것은 아닙니다. 의사 행동과 편집된 환경은 실제 물리 조건과 다를 수 있으며, 리타게팅 품질과 대상 로봇 후속 학습이 결과에 큰 영향을 줍니다. 따라서 이 연구는 범용 로봇 제어를 완성한 해법이라기보다, 서로 다른 로봇 몸체를 아우르는 사전학습을 확장하기 위한 인터페이스로 평가하는 편이 타당합니다.

출처: Hugging Face Daily Papers