EXIMO: VLM 계획으로 VLA 로봇 정책을 효율적으로 적응시키다

배경

로봇이 새로운 작업을 배우게 하려면 대규모 원격조작 시연을 수집하거나, 강화학습으로 시행착오를 거치게 해야 한다. 시연 데이터는 시각·언어·행동 모델(VLA)을 행동 복제 방식으로 학습시키는 데 유용하지만, 많은 인력과 시간이 필요하다. 반면 강화학습은 사람의 시연 의존도를 낮출 수 있지만, 여러 단계가 연결된 장기 작업에서는 탐색이 어렵고 샘플 효율이 낮아지기 쉽다. EXIMO는 두 접근법을 단계적으로 결합해 대형 VLA를 새로운 작업에 적응시키는 방법이다.

탐색·모방·최적화

EXIMO의 이름처럼 전체 과정은 세 단계로 나뉜다.

• 탐색: VLA에 시각언어모델(VLM)을 계획기로 연결한다. VLM은 복잡한 장기 작업의 목표를 해석하고, 이를 더 짧고 실행 가능한 하위 작업으로 분해한다. VLM과 VLA는 함께 새로운 작업 환경에서 ‘조직화된’ 데이터를 수집하므로, VLA가 전체 작업을 무작정 시도하는 상황을 줄일 수 있다.
• 모방: 수집한 궤적을 사용해 VLA를 미세조정한다. 이 단계는 강화학습을 시작하기 전에 작업의 기본 순서와 실행 패턴을 정책에 학습시키는 역할을 한다.
• 최적화: 마지막으로 잔차 오프폴리시 강화학습을 적용한다. 완전히 새로운 정책을 처음부터 학습하는 대신, 기존 VLA의 행동을 보완하는 수정량을 학습한다. 이를 통해 시연 데이터가 충분히 설명하지 못한 오류와 세부 동작에 집중할 수 있다.

이 설계의 핵심은 모델별 역할 분담이다. VLM은 고수준 이해와 작업 분해를 담당하고, VLA는 시각 관측을 구체적인 행동으로 변환한다. 강화학습은 이미 형성된 정책을 바탕으로 필요한 부분을 추가로 개선한다.

의미와 한계

대규모 VLA에 강화학습을 직접 적용하면 계산량뿐 아니라 모델 규모와 구조에서 비롯된 학습상의 어려움도 커진다. EXIMO는 VLM으로 탐색을 안내하고, 모방 학습으로 유용한 초기 정책을 만든 뒤, 잔차 RL로 국소적인 개선을 수행한다. 따라서 순수한 시연 학습과 순수한 강화학습 사이에서 하나만 선택하지 않고, 구조화된 탐색을 두 방법을 잇는 단계로 활용한다.

저자들은 세 단계 각각에 대한 제거 실험을 수행했다. 제공된 논문 요약에 따르면, EXIMO 전체 구성은 기존 방법보다 샘플 효율과 최종 성능에서 유의미하게 높은 결과를 보였다. 이는 장기 작업에서 VLM의 계획 능력이 VLA의 탐색을 더 생산적인 방향으로 이끌 수 있음을 시사한다.

다만 현재 소재에는 구체적인 로봇 설정, 작업 목록, 데이터 규모, 수치 결과가 포함되어 있지 않다. 따라서 다양한 환경에서의 일반화 성능, VLM의 계획 오류가 VLA에 미치는 영향, 잔차 오프폴리시 RL의 안정성은 논문 본문의 실험을 추가로 확인해야 한다. EXIMO가 제시하는 방향은 분명하다. 먼저 “무엇을 몇 단계로 나누어 시도할지”를 계획하고, 그 다음 “각 단계를 어떻게 더 잘 수행할지”를 정책이 학습하도록 만드는 것이다.

Hugging Face Daily Papers