PAIR, 비전-언어-행동 모델의 인식과 행동을 연결하다

배경

비전-언어-행동 모델(VLA)은 이미지를 보고 언어 지시를 이해하는 데서 멈추지 않는다. 현재 장면과 지시를 해석한 뒤, 이를 연속적인 로봇 제어 신호로 변환해야 한다. 그러나 많은 연속 행동 VLA에서는 인식 표현이 행동 표현으로 바뀌는 과정이 명시적으로 모델링되지 않고, 최종 행동 예측 손실에 주로 의존한다. PAIR는 이 암묵적인 연결 구간을 별도의 학습 대상으로 만든다.

PAIR의 접근법

PAIR의 핵심은 별도의 행동 출력층을 추가하는 것이 아니라 인식 공간과 행동 공간 사이의 공유 표현을 학습하는 데 있다. 학습 단계에서 Masked Action Autoencoder는 전문가 행동 청크를 인코딩하고, 행동 구간에 맞춰 정렬된 Action Latent Tokens를 만든다. 행동을 단순히 회귀해야 할 연속값으로만 다루지 않고, 인식 특징과 정렬할 수 있는 구조화된 잠재 표현으로 바꾸는 셈이다.

이후 Bridge Module은 현재의 시각-언어 표현에서 과제와 관련된 특징을 추출한다. 이 특징을 Action Latent Tokens와 정렬해 Bridge Tokens를 만들며, 이 토큰은 장면과 지시의 과제 정보를 유지하면서 전문가 행동의 구조도 포착하도록 설계됐다. Bridge Tokens는 행동 토큰 공간으로 투영된 뒤 초기 Action Tokens에 주입된다. 그 결과 Action Expert는 무작위에 가까운 출발점이 아니라 행동에 필요한 정보가 포함된 초기 상태에서 궤적을 정제할 수 있다.

추론 단계에서는 학습에 사용한 행동 오토인코더를 제거한다. Bridge Tokens는 현재 관측과 지시만으로 생성되므로, 실제 실행 시 얻을 수 없는 전문가 행동을 요구하지 않는다.

실험 결과

논문은 LIBERO, LIBERO-Plus, CALVIN ABC-D에서 PAIR를 평가하고, OpenVLA-OFT와 VLA-Adapter에 적용한 결과를 제시한다. 제공된 자료에서 확인되는 결과는 다음과 같다.

• LIBERO-Plus에서 VLA-Adapter의 성공률이 59.1%에서 64.2%로 상승했다.
• CALVIN에서는 평균 완료 시퀀스 길이가 4.42에서 4.53으로 증가했다.
• 7개의 실제 로봇 과제에서도 개선이 보고됐지만, 제공된 발췌 자료에는 과제별 세부 수치가 없다.

의미와 한계

PAIR는 VLA의 문제가 시각 이해나 행동 디코딩 하나로만 설명되지 않을 수 있음을 보여준다. 과제 의미와 전문가 행동의 구조를 동시에 담은 중간 표현을 두면, 행동 전문가가 궤적을 세밀하게 만들기 전에 더 명확한 제어 단서를 제공할 수 있다.

다만 현재 자료만으로는 성능 향상이 Action Latent Tokens, 특징 정렬, 초기 토큰 주입 중 어느 요소에서 가장 크게 발생했는지 판단하기 어렵다. 계산 비용, 데이터 규모에 따른 변화, 다른 로봇과 과제로의 일반화도 추가 실험이 필요하다. 특히 각 구성 요소를 분리한 소거 실험이 있어야 PAIR의 효과를 정확히 해석할 수 있다.

그럼에도 PAIR는 인식에서 행동으로 바로 점프하는 대신, 두 영역을 연결하는 명시적 인터페이스를 학습하자는 방향을 제시한다. 이는 연속 제어형 VLA의 표현 설계를 개선하는 유의미한 출발점이 될 수 있다.

출처: Hugging Face Daily Papers