PDRVLA, 비전-언어-행동 모델에 물리 동역학 표현 추가

들어가며

비전-언어-행동(VLA) 모델은 카메라 관측과 자연어 지시를 로봇 행동으로 변환할 수 있습니다. 하지만 현재 장면을 인식하는 것과 행동 뒤에 장면이 어떻게 변할지 예측하는 것은 서로 다른 문제입니다. 물체를 밀거나 잡고 배치하는 작업에서는 접촉 뒤의 이동, 깊이 관계의 변화, 현재 행동이 이후 단계에 미칠 영향을 함께 판단해야 합니다. PDRVLA는 제어 과정마다 미래 영상을 생성하지 않으면서 VLA에 물리 동역학 정보를 추가하려는 접근입니다.

핵심 설계

PDRVLA의 중심에는 경량 Physical Dynamics Module이 있습니다. 이 모듈은 비전-언어 특징을 입력으로 받아 물리 토큰을 추출하고, 이를 행동 생성의 조건으로 사용합니다. 전체 비디오 월드 모델을 온라인으로 실행하는 대신 미래 변화에 대한 압축된 표현을 학습해 제어 루프의 지연을 줄이려는 방식입니다.

모듈은 다음과 같은 미래 시각 특징을 직접 예측하도록 학습됩니다.

• RGB 특징: 시각적 외관의 변화
• 깊이 특징: 공간 구조의 변화
• 광류 특징: 물체와 장면의 움직임 경향

또한 동결된 사전학습 비디오 월드 모델이 학습 중 보조 감독 신호를 제공합니다. 월드 모델의 동역학 지식은 학습에 활용하되, 실제 행동 결정 때마다 완전한 미래 영상을 생성하지 않는 것이 핵심입니다.

데이터와 실험 결과

논문에 따르면 학습에는 공개 데이터만 사용됩니다. 여기에 인간 조작 데이터를 로봇 데이터로 확장하는 합성 방식, 하위 작업 주석, 체화된 사고 사슬(ECoT) 주석을 더했습니다. 따라서 단순한 행동 레이블 외에도 작업 분해와 미래 상태에 관한 정보를 활용할 수 있습니다.

보고된 성공률은 LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%입니다. 절제 실험에서는 월드 모델 감독, 하위 작업 조건화, 미래 물체 자세 감독, ECoT 학습이 미래 예측과 행동 성공률에 미치는 영향을 비교했습니다.

의미와 한계

PDRVLA는 두 가지 접근 사이의 현실적인 절충안을 제시합니다. 로봇은 온라인에서 완전한 미래 영상을 만들 필요가 없지만, 정적인 현재 관측만 보고 행동을 선택하지도 않습니다. 대신 물리 토큰을 통해 다음에 발생할 수 있는 변화를 행동 결정에 반영합니다. 접촉, 이동, 가림 변화가 중요한 조작 작업에서 의미 있는 방향입니다.

다만 제공된 결과는 주로 시뮬레이션 벤치마크에 기반하며, 실물 로봇 성능과 계산 비용, 실제 환경 간 일반화에 대한 결론은 자료에 포함되지 않았습니다. 센서 잡음, 보지 못한 물체, 복잡한 접촉 동역학에 대한 강건성은 앞으로 검증해야 할 과제입니다. 그럼에도 PDRVLA는 월드 모델의 미래 예측 능력을 더 낮은 지연의 VLA 제어로 옮기는 한 가지 방법을 보여줍니다.

출처: Hugging Face Daily Papers