Show-Harness: 의미 인터페이스로 VLM이 로봇을 제어하는 방법

들어가며

비전-언어 모델(VLM)이 장면과 물체, 사용자 지시를 이해한다고 해서 곧바로 안정적인 로봇 제어가 가능한 것은 아니다. 기존 접근법은 로봇마다 다른 행동 표현을 설계하고, 많은 시연 데이터를 수집하며, 특정 embodiment에 맞춘 사전학습을 요구하는 경우가 많았다. Show-Harness는 모델의 규모를 키우는 대신 VLM과 로봇 사이의 연결 방식을 바꾸는 데 초점을 맞춘다.

핵심 내용

• 의미를 가진 이산 행동 단위. VLM이 모터의 저수준 값을 직접 출력하는 대신, 의미 기반 행동 단위를 선택하도록 한다. 모델은 목표 지점으로 이동하거나 물체를 잡고 놓는 등의 행동을 추론할 수 있으며, 특정 로봇의 제어 포맷에 덜 묶인다.
• 추론과 실행의 분리. VLM은 환경을 관찰하고 다음에 수행할 물리적 결정을 담당한다. 로봇별 해석기는 해당 결정을 로봇의 구조, 센서, 실행 방식에 맞는 로컬 동작으로 결정론적으로 변환한다. 이 구조는 범용 추론과 기계별 실행 적응을 나눈다.
• 폐쇄형·오픈소스 모델 모두 지원. 논문은 동일한 인터페이스를 이용해 폐쇄형 프런티어 VLM을 추가 학습 없이 로봇 제어에 활용할 가능성을 보인다. 동시에 소형 오픈소스 VLM을 제한적인 미세조정만으로 저비용 배포하는 경로도 제시한다.
• GUMI를 통한 GUI 시연 수집. GUMI(GUI Manipulation Interface)는 의미 행동 공간을 그래픽 인터페이스로 확장한다. 사람이나 에이전트는 GUI에서 로봇을 “플레이”할 수 있고, 전용 원격조작 장비 없이 시연 데이터를 수집할 수 있다.

의미와 남은 과제

Show-Harness가 던지는 중요한 메시지는 로봇 지능의 병목이 모델 크기만이 아니라 모델과 신체를 잇는 인터페이스에도 있다는 점이다. 의미 행동이 여러 로봇에서 안정적으로 공유된다면, 하나의 VLM이 가진 시각적 지식과 계획 능력을 다양한 기계와 환경으로 옮기기 쉬워진다. 로봇별 실행 차이는 해석기에 맡겨 반복적인 재학습 부담을 줄일 수 있다.

물론 해결해야 할 문제는 남아 있다. 의미 행동 단위가 복잡한 조작을 충분히 표현할 수 있는지, 지각 오류와 접촉 dynamics, 안전 제약을 어떻게 다룰지, GUI로 모은 시연의 품질을 어떻게 보장할지가 대표적이다. 제공된 연구 요약에 따르면 Show-Harness를 장착한 VLM 에이전트는 작업, embodiment, 환경을 가로질러 강한 일반화를 보였고, 비교된 에이전트 및 VLA 방식보다 좋은 결과를 냈다. 이 연구의 더 큰 의미는 새로운 전용 정책을 계속 만드는 대신, 적절한 공통 언어를 설계해 기존 VLM의 embodied 능력을 끌어낼 수 있다는 가능성에 있다.

출처: Hugging Face Daily Papers