데이터 확장을 넘어: VLAct가 VLA에서 표현 학습을 우선하는 이유

범용 시각·언어·행동(VLA) 모델을 만들기 위해 로봇 데이터 규모를 키우는 작업이 중요해지고 있다. 그러나 로봇 궤적은 웹에서 얻는 이미지·텍스트 데이터처럼 쉽게 확장되지 않는다. 실제 장비와 환경이 필요하고, 조작 과정에도 비용이 든다. 물리 세계의 다양한 상태와 작업을 고르게 담기도 어렵다. 따라서 정해진 로봇 데이터 예산 안에서는 궤적의 양뿐 아니라, 제한된 샘플에서 다른 작업과 로봇으로 옮겨 갈 수 있는 표현을 얼마나 잘 학습하는지가 핵심 문제가 된다.

Hugging Face Daily Papers에 소개된 VLAct는 이 문제를 표현 중심의 계속 사전 학습으로 다룬다. 먼저 여러 로봇 본체에서 수집한 광범위하고 이질적인 데이터를 사용해 VLA 지향 VLM 백본을 학습한 뒤, 구체적인 다운스트림 작업에 맞춰 미세 조정한다. 목표는 기존 VLM을 제한된 로봇 궤적에 맞춘 행동 회귀기로 좁히는 것이 아니다. 시각·언어 능력을 유지하면서, 서로 다른 로봇이 공유할 수 있는 행동 의미를 학습하는 것이다.

방법의 핵심은 세 가지로 정리할 수 있다.

• VLM 사전 지식 보존: 계속 사전 학습 중에도 원래 VLM이 가진 폭넓은 시각·언어 능력이 과도하게 손상되지 않도록 한다.
• 연속 행동 다중 헤드 공동 감독: 여러 행동 헤드가 연속 제어 신호를 함께 학습해 데이터셋과 로봇 본체의 차이에 대응한다.
• 부분적으로 통합된 행동 레이아웃: 본체 간 공유 가능한 행동 표현은 정렬하되, 미세 조정 단계에서는 작업별 행동 헤드를 사용할 수 있게 한다.

이는 모든 로봇이 동일한 제어 인터페이스를 사용해야 한다는 접근과, 로봇마다 완전히 독립적인 정책을 학습하는 접근 사이의 절충안이다. 로봇의 관절 수나 제어 차원이 달라도 잡기, 이동, 물체 조작과 같은 행동 구조는 어느 정도 공유할 수 있다. 모델이 이런 공통 구조를 먼저 학습하고, 이후 각 로봇의 제어 공간으로 변환하도록 만드는 방식이다.

공개된 결과는 시뮬레이션, 실제 환경, 그리고 학습에 포함되지 않은 로봇 본체로의 전이를 포괄한다. LIBERO-Plus에서 82.6%, RoboTwin 2.0에서 92.5%의 성공률을 기록했으며, 자료에 언급된 산업용 VLA 시스템 ABot-M0와 LingBot-VLA를 앞섰다. RoboDojo에서는 성공률 기준 전체 정책 중 6위를 차지했고, 월드 액션 모델로 명시된 출품작들을 모두 능가했다. 특히 학습에 없던 휴머노이드 본체를 다루는 RoboCasa-GR1에서는 다운스트림 궤적의 20%만 사용한 VLAct가 전체 데이터를 사용한 GR00T-N1.6 기준선을 앞섰다.

이 결과는 데이터 규모가 더 이상 중요하지 않다는 뜻은 아니다. 대신 데이터가 비싸고 제한된 환경에서는 표현의 품질이 별도의 성능 향상 축이 될 수 있음을 보여준다. 프로젝트는 데이터, 모델, 전체 학습 및 미세 조정 파이프라인을 공개했으며, 제공된 자료에 따르면 전체 계속 사전 학습에는 16개의 GPU만 필요하다. 이는 산업 규모의 컴퓨팅 자원이 없는 연구팀도 다중 본체 실험을 재현하고 확장하는 데 도움이 될 수 있다.

다만 현재 자료만으로는 각 구성 요소가 성능에 기여한 정도, 데이터 혼합 비율, 더 다양한 실제 배치 조건에서의 안정성을 확인할 수 없다. VLAct는 VLA 경쟁의 기준을 단순한 데이터 보유량에서 표현의 보존과 행동 지식의 공유로 넓히는 중요한 사례다. 그러나 모든 로봇 작업에서 동일한 효과를 보장하는 방법으로 해석해서는 안 된다.

출처: Hugging Face Daily Papers