TurboVLA: 1GB 미만 VRAM으로 실시간 동작하는 VLA 모델

도입

비전-언어-행동(VLA) 모델은 로봇 조작과 embodied AI에서 중요한 축으로 떠오르고 있다. 하지만 많은 VLA 모델은 대규모 언어 모델을 중심 인터페이스로 사용한다. 시각 관측을 먼저 LLM의 표현 공간으로 투영한 뒤, 그 결과를 다시 로봇 행동으로 디코딩하는 방식이다. 이 V→L→A 구조는 효과적일 수 있지만, 정책을 호출할 때마다 상당한 계산량과 메모리 비용을 요구한다.

TurboVLA는 이 흐름을 단순화하려는 시도다. 대형 언어 모델을 지각과 행동 사이의 핵심 중개자로 두는 대신, 시각 정보와 언어 지시를 직접 결합해 행동을 예측하는 V+L→A 구조를 제안한다.

핵심 내용

• 구조적 전환: TurboVLA는 전통적인 V→L→A 경로를 따르지 않고, 시각 특징과 언어 특징에서 바로 작업 조건화된 행동 표현을 만든다.
• 가벼운 상호작용: 시각 관측과 언어 지시를 각각 인코딩한 뒤, 경량 양방향 비전-언어 상호작용 모듈을 통해 정보를 교환한다.
• 작은 행동 디코더: 이후 컴팩트한 디코더가 연속적인 행동 청크를 예측한다.
• 낮은 자원 사용량: 논문에 따르면 모델 규모는 0.2B 파라미터이며, 소비자용 RTX 4090에서 추론 지연은 31.2ms, 추론 VRAM은 0.9GB다.
• LIBERO 성능: LIBERO 벤치마크에서 평균 성공률 97.7%를 기록했으며, 훨씬 큰 VLA 정책과 비슷하거나 더 나은 성능을 보였다고 설명된다.
• 코드 공개: GitHub 저장소가 제공되어 연구자들이 구조를 확인하고 재현을 시도할 수 있다.

의미와 영향

TurboVLA의 의미는 단순히 모델을 작게 만든 데 있지 않다. 로봇 제어에서 대규모 언어 모델이 반드시 중심 허브 역할을 해야 하는지에 대한 질문을 던진다. 조작 작업의 핵심이 현재 시각 상태와 자연어 지시에 따라 연속 행동을 생성하는 것이라면, 모든 정보를 거대한 LLM 표현 공간으로 우회시키는 방식보다, 시각과 언어를 직접 상호작용시키는 전용 구조가 더 효율적일 수 있다.

이는 실제 로봇 배포 측면에서도 중요하다. 로봇 제어 루프는 낮은 지연, 안정적인 추론, 제한된 하드웨어 자원 안에서의 실행을 요구한다. 단일 소비자용 GPU에서 1GB 미만의 VRAM으로 실시간 수준의 VLA 추론이 가능하다면, 실험과 응용의 진입 장벽을 낮출 수 있다.

물론 제공된 자료에서 중심이 되는 평가는 LIBERO 결과다. 실제 로봇, 장기 작업, 더 다양한 환경에서의 검증은 여전히 필요하다. 그럼에도 TurboVLA는 VLA 연구가 반드시 LLM 중심의 대형화로만 나아갈 필요는 없으며, 행동 생성에 최적화된 경량 구조도 강력한 대안이 될 수 있음을 보여준다.

Source: Hugging Face Daily Papers