VLA-Δ, 로봇에게 동작이 아니라 물리 상태의 변화를 학습시키다

배경

시각·언어·행동(VLA) 모델은 시각·언어 사전학습에서 얻은 의미 이해를 로봇 제어로 옮기는 대표적인 접근이다. 자연어 지시와 현재의 카메라 관측을 바탕으로, 시연 데이터에서 학습한 로봇 행동을 생성할 수 있다는 점이 강점이다.

하지만 많은 VLA의 기본 학습 방식은 현재 관측과 그 순간의 시연 행동을 직접 연결하는 데 머문다. 이 방식은 성공적인 궤적을 재현할 수 있지만, 작업이 진행되는 동안 물체와 그리퍼, 접촉 상태가 어떻게 바뀌는지 반드시 이해하게 만들지는 않는다. 모델이 관측과 행동 사이의 표면적 상관관계에 의존하면 환경이나 배치가 달라졌을 때 제어가 불안정해질 수 있다.

VLA-Δ는 이 문제를 물리 상태 전이를 학습 목표로 포함하는 방식으로 다룬다. 현재 상태와 미래 상태의 차이를 명시적으로 표현하고, 이를 연속적인 행동 생성에 필요한 감독 신호로 활용하는 것이 핵심이다.

방법의 구성

연구진은 484시간, 약 2400만 프레임으로 구성된 사전학습 코퍼스를 만들었다. 또한 자동 주석 파이프라인을 통해 작업 진행, 공간적 움직임, 접촉 변화, 물리적 제약과 관련된 정보를 추출했다.

VLA-Δ는 다음과 같은 세 가지 신호를 결합한다.

• 구조화된 전이 슬롯: 작업과 관련된 상태 변화를 별도의 표현으로 저장한다.
• 조밀한 광학 흐름: 장면 속 물체와 로봇 부품의 시각적 움직임을 나타낸다.
• 미래 상태 차이 텍스트: 현재 상태와 미래 상태의 차이를 언어로 설명한다.

언어 추론이나 시각 예측, 잠재 공간의 미래 예측을 간접적인 보조 신호로 사용하는 접근과 달리, VLA-Δ는 물리 상태 전이 자체를 직접 감독하려 한다. 사전학습 이후의 하위 정책은 행동 supervision만으로 학습할 수 있다. 배포 시에는 별도의 미래 상태 디코더를 실행하지 않고 현재 관측에서 행동을 바로 출력하므로, 전이 학습 목표가 추론 단계에 추가적인 디코딩 부담을 만들지 않는다.

보고된 성능

논문에 따르면 VLA-Δ는 LIBERO에서 98.40%의 성공률을 기록했다. RoboTwin 2.0에서는 Clean 설정에서 90.06%, Random 설정에서 89.74%를 달성했다. 실제 로봇 실험에서는 π0.5보다 5.5% 높은 성능을 보였다고 보고한다.

이 결과는 상태 변화를 표현으로 학습하는 방식이 시뮬레이션 벤치마크와 실제 환경 모두에서 조작 성능을 뒷받침할 가능성을 보여준다. 다만 자동 생성 주석의 품질, 로봇 형태가 바뀌었을 때의 전이 능력, 장기 작업과 새로운 접촉 상황에서의 안정성은 추가 검증이 필요하다. 벤치마크 수치는 데이터 구성과 작업 조건, 학습 설정을 함께 고려해 해석해야 한다.

의미와 영향

VLA-Δ의 핵심 의미는 로봇 정책의 학습 대상에 ‘행동의 결과로 일어나는 변화’를 포함했다는 데 있다. 행동 레이블만 학습하는 대신 물체의 위치, 그리퍼의 움직임, 접촉 관계가 어떻게 달라지는지를 함께 학습하면 잡기, 밀기, 놓기처럼 기하와 접촉에 크게 의존하는 작업에서 표면적인 시각 단서에 대한 의존을 줄일 수 있다.

또한 이 연구는 VLA와 세계 모델 연구를 연결하는 방향을 제시한다. 실행 중 완전한 미래 예측을 반복하는 대신, 미래 상태의 변화를 학습 단계에서 활용하고 추론 단계에서는 직접 행동 생성을 유지한다. 이 구조는 지연시간과 배포 복잡성을 줄여야 하는 실제 로봇 시스템에서 실용적인 선택지가 될 수 있다.

출처: Hugging Face Daily Papers