NEO-VLA, 변화하는 시각 표현에서 로봇 행동을 생성하다

들어가며

비전-언어-행동(VLA) 모델은 보통 세 단계의 파이프라인으로 구성된다. 먼저 비전 인코더가 이미지를 압축하고, 언어 모델이 지시문과 시각 정보를 결합한 뒤, 행동 모듈이 로봇의 제어 신호를 출력한다. 이 방식은 기존 비전-언어 모델을 재사용하기 쉽다는 장점이 있지만, 조작 작업에 중요한 물체 경계, 국소적인 기하 구조, 깊이 관계, 미세한 상태 변화를 잃을 가능성도 있다.

논문 「From Pixels to Actions - Towards Native Vision-Language-Action Policies」는 이러한 고정형 시각 인터페이스를 다시 검토하며 NEO-VLA를 제안한다.

핵심 내용

• 고정된 시각 표현의 종착점을 제거한다. NEO-VLA는 가벼운 패치 합성곱 계층으로 이미지를 토큰화하지만, 독립적인 비전 인코더의 최종 특징만 행동 정책에 전달하지 않는다. 이미지 토큰과 언어 토큰은 백본 안에서 함께 변화한다.
• 여러 깊이의 표현을 행동에 연결한다. 플로 매칭 기반 행동 전문가는 지시문에 의해 조건화된 여러 층의 시각 표현을 활용할 수 있다. 정책이 지나치게 추상화된 마지막 층에만 의존하지 않아도 되는 구조다.
• 단순한 인코더 제거 이상의 변화다. 통제된 비교에서 네이티브 구조는 인코더 기반 구조보다 우수했다. 완전한 파인튜닝으로 차이는 줄었지만 사라지지 않았고, 모델 규모를 키우는 것만으로도 같은 이점을 얻을 수 없었다.
• 행동에 중요한 신호는 중간층에서 강할 수 있다. 층별 분석은 제어에 필요한 시각 정보가 최종 표현에 도달하기 전에 가장 효과적인 상태가 될 수 있음을 보여준다. 조작 작업에서는 더 깊은 표현이 항상 더 좋은 표현을 의미하지 않는다.

의미와 한계

NEO-VLA의 핵심은 비전 인코더를 없앴다는 사실만이 아니다. 지각과 제어를 연결하는 방식을 바꿨다는 데 의미가 있다. 객체 인식이나 이미지 설명에 맞춰진 시각 표현은 “무엇이 보이는가”를 설명하는 데는 유용하지만, “다음에 그리퍼를 어디로 움직여야 하는가”를 결정하는 데 최적이라고 보기는 어렵다. 로봇은 고수준 의미 이해뿐 아니라 계속 변하는 공간 관계와 상태 정보도 필요로 한다.

NEO-VLA는 여러 조작 환경과 시각적 분포 변화에서 더 강하고 안정적인 제어를 보였다. 이는 네이티브 시각 표현이 외관 변화에 대한 강건성을 높일 수 있음을 시사한다. 그러나 공간 배치와 작업 목표가 바뀌는 상황은 여전히 어려웠다. 중간층 정보를 개방하는 것만으로 일반화 문제가 해결되는 것은 아니며, 공간 추론과 목표 해석, 유연한 제어 능력도 함께 발전해야 한다.

이 연구는 VLA의 질문을 “시각 정보를 어떻게 압축할 것인가”에서 “시각 계산의 어느 단계까지 행동에 남겨야 하는가”로 확장한다. 체화 지능에서는 지각과 제어를 하나의 고정된 특징 인터페이스로 분리하기보다, 여러 계산 층에서 지속적으로 협력하게 만드는 설계가 중요해질 수 있다.

출처: Hugging Face Daily Papers