아티클 목록으로

ZeroVLN, VLM의 내비게이션 도메인 SFT 없이 길 찾기 학습

약 3분 소요

비전-언어 내비게이션(VLN)은 지시를 이해하는 데서 끝나지 않는다. 에이전트는 주변을 살피고 이동 방향을 선택하며, 동작을 제어하고, 실행 결과에 따라 계획을 계속 조정해야 한다. 대표적인 기존 방식은 비전-언어 모델(VLM)에 학습 가능한 행동 모듈을 붙이고 내비게이션 데이터로 VLM을 지도 미세조정해 기하학적 목표를 예측하게 한다. ZeroVLN은 모델의 ‘두뇌’가 내비게이션을 다시 배워야 하는 부담을 줄이는 대신, 자연어 도구 호출로 이동 요청을 표현하고 행동 전문가가 이를 연속 동작으로 바꾸도록 설계한다.

핵심 내용

  • 의미 기반 판단과 동작 실행을 분리한다. VLM은 작업 지시와 시각 정보에 근거해 이동 요청을 내리고, 행동 전문가는 이를 연속 제어로 실행한다. VLM이 기하학적 목표를 직접 예측하도록 하는 대신, 자연어 인터페이스를 통해 실행 모듈에 의도를 전달한다.
  • 실행 모듈을 먼저 학습한 다음 폐루프에서 함께 개선한다. 연구진은 기본 VLM이 생성한 이동 요청으로 참조 궤적을 만들고, 다음 재계획 전에 실제로 실행되는 동작의 앞부분만 지도 학습한다. 이후 폐루프 에이전트 강화학습으로 VLM의 도구 호출과 전문가의 연속 동작을 공동 최적화한다.
  • 전체 궤적의 피드백을 활용한다. 과정 보상과 결과 보상을 결합하고, 궤적 수준에서 공유하는 어드밴티지로 두 정책을 업데이트한다. 다만 VLM과 행동 전문가에는 서로 분리된 그래디언트 경로를 둔다. ‘내비게이션 도메인 SFT 없음’은 VLM을 전혀 학습하지 않는다는 뜻이 아니다. 해당 방식의 지도 미세조정은 피하지만 이후 폐루프 강화학습으로 두 정책을 함께 최적화한다는 설명이다.
  • 성능과 가중치 보존을 함께 보고한다. 동일한 백본과 학습 에피소드를 사용한 비교에서 ZeroVLN은 세 가지 표준 VLN-CE 벤치마크 모두에서 NaVILA와 DualVLN보다 높은 성공률을 기록했다고 논문은 밝혔다. VLM의 상대적 가중치 변위는 0.01497%였으며, 기본 모델의 일반적인 시각 능력도 대체로 유지됐다고 보고했다.

의미와 남은 질문

이 연구의 핵심은 단순히 행동 모듈을 추가하는 것이 아니라 멀티모달 모델과 제어기의 역할을 다시 나누는 데 있다. VLM은 ‘어떻게 움직일지’를 의미가 분명한 요청으로 표현하고, 전문 모듈은 연속 동작과 실행을 담당한다. 이 구조는 특정 내비게이션 작업을 위해 범용 모델의 가중치를 크게 바꿀 필요를 줄이고, 상호작용을 통해 판단과 제어를 함께 개선할 가능성을 보여준다. 다만 제공된 자료에는 각 벤치마크의 구체적인 점수나 평가 조건, 더 다양한 환경에서의 검증 결과가 포함되지 않았다. 따라서 성능 차이의 크기나 일반화 범위까지 단정할 수는 없다. 현재로서는 VLM의 기존 가중치를 대부분 유지하면서 계층형 내비게이션을 학습하는 접근을 제시한 연구로 보는 것이 적절하며, 실제 활용 가치는 전체 논문과 추가 평가를 통해 확인해야 한다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
GPT-6.2 Astra, 로봇 조작 과제 성공률 두 배 이상 향상
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

GPT-6.2 Astra, 로봇 조작 과제 성공률 두 배 이상 향상

XDOF의 Ember-0 평가에서 GPT-6.2 Astra는 양팔 로봇 16개 조작 과제의 평균 성공률 41.2%를 기록했다. 두 달 전 GPT-6 Astra의 19.6%보다 크게 높아졌으며, 매듭 묶기와 티셔츠 펼치기에도 성공했다고 XDOF는 밝혔다.

더 보기
CCTest · Blog
Mind2Act World, 로봇의 추론과 행동을 나눠 평가한다
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

Mind2Act World, 로봇의 추론과 행동을 나눠 평가한다

Mind2Act World는 과거 관찰을 바탕으로 한 추론, 동작 실행, 환경 피드백을 통한 두 능력의 결합을 각각 살펴보는 시뮬레이션 벤치마크입니다. 로봇의 실패가 어디서 비롯되는지 진단하는 데 초점을 둡니다.

더 보기