RynnVLA-Latent, 3D 잠재 행동으로 로봇 VLA 확장

배경

비전-언어-행동(VLA) 모델을 로봇 조작에 적용하려면 대규모 행동 데이터와 로봇 플랫폼 간 호환성이 필요하다. 하지만 로봇 조작 시연은 수집 비용이 높고, 서로 다른 로봇은 관절 구조와 제어 인터페이스가 다르다. 따라서 인간 영상이나 다른 로봇의 궤적을 하나의 정책 학습 과정에 직접 합치기 어렵다.

RynnVLA-Latent는 이 문제를 잠재 행동이라는 중간 표현으로 해결하려 한다. 특정 로봇의 모터 명령을 모든 영상에 붙이는 대신, 관찰 전후에 물체와 장면이 어떻게 움직였는지, 그리고 그 변화 중 어떤 부분이 조작과 관련되는지를 먼저 학습한다.

핵심 구성

• 3D 기반 잠재 행동. RynnLAM은 잔차 미래 특징 예측, 카메라 움직임을 보정한 3D 흐름 감독, 카메라 움직임 분리 기법을 함께 사용한다. 목표는 단순한 외관 변화보다 제어 가능한 움직임을 잘 나타내는 표현을 얻는 것이다.
• 이종 영상의 대규모 활용. 인간, 로봇, 시뮬레이션 영상 총 3만 100시간을 사용해 7억 4552만 개의 잠재 행동 디스크립터를 생성했다. 데이터가 동일한 로봇의 고유 제어 라벨을 제공하지 않아도 학습에 활용할 수 있다는 점이 특징이다.
• 로봇별 후속 적응. RynnVLA-Latent는 시각 관찰과 언어 지시를 바탕으로 플로 매칭을 통해 잠재 행동 청크를 예측한다. 이후 사전 학습된 백본과 행동 전문가를 특정 로봇에 맞게 조정해 잠재 계획을 해당 로봇의 고유 행동 공간으로 변환한다.

실험 결과

4B 정책은 LIBERO에서 98.8%의 성공률을 기록했고, 벤치마크별 추가 적응 없이 LIBERO-Plus에서 84.7%를 달성했다. VLABench 5개 트랙의 평균 성공률은 51.9%, 양팔 조작을 평가하는 RoboTwin 2.0에서는 88.6%였다. 또한 손가락 조작이 가능한 로봇과 모바일 그리퍼 플랫폼을 포함한 6개 실제 조작 과제를 평가했으며, 비교 방법 중 가장 높은 관측 성공률을 기록했다고 보고했다. 고정된 표현에 대한 프로브 실험과 데이터 규모 분석을 통해 잠재 표현의 제어 예측 가능성과 사전 학습 데이터 증가 효과도 확인했다.

의미와 한계

이 연구의 핵심은 영상의 역할을 단순한 시각 사전 학습에서 제어 관련 상태 변화의 감독으로 확장한 데 있다. 3D 잠재 행동은 인간 행동, 시뮬레이션 궤적, 서로 다른 로봇 본체를 연결하는 공통 언어가 될 수 있다.

이 접근법이 더 다양한 하드웨어와 과제에서도 유지된다면 로봇별 시연 데이터 수집 의존도를 낮추고 VLA 사전 학습을 확장하는 데 도움이 될 수 있다. 다만 잠재 행동을 실제 로봇의 세밀한 제어 명령으로 바꾸는 과정은 본체별 적응 품질에 크게 좌우된다. 따라서 제시된 성능은 논문에서 사용한 벤치마크와 적응 절차의 범위 안에서 해석할 필요가 있다.

출처: Hugging Face Daily Papers