VFlash, 병렬 디코딩으로 로봇 시각 계획을 가속하다

로봇과 자율주행 같은 물리 AI 시스템은 모든 계획을 언어로 표현할 필요가 없다. 목표 지점, 바운딩 박스, 미래 궤적은 물체가 어디에 있고 어떻게 움직여야 하는지를 직접 나타낼 수 있다. 하지만 비전-언어 모델이 이런 시각 계획을 자기회귀 방식으로 생성하면 좌표를 보통 토큰 단위로 하나씩 출력한다. 계획이 길어지거나 2D에서 3D로 확장될수록 이 방식의 추론 비용은 커질 수 있다.

NVIDIA 연구진이 제안한 VFlash는 Flash Primitive Decoding이라는 방법으로 이 문제를 다룬다. 각 좌표를 독립적인 다음 토큰으로 취급하는 대신 시각 프리미티브가 가진 구조를 활용한다. 경량 drafter가 한 번의 순전파에서 프리미티브 전체를 생성하며, 출력 레이아웃은 프리미티브의 유형, 차원, 길이에 맞춰 조정된다.

핵심 내용

• 좌표 공동 예측: 점, 박스, 궤적을 임의의 토큰 문자열이 아니라 구조화된 공간 객체로 보고 관련 좌표를 함께 예측한다.
• 출력 형태에 따른 적응: 짧은 박스와 길고 가변적인 궤적은 요구사항이 다르므로 하나의 고정 레이아웃을 사용하지 않는다.
• 토큰 순서 복제를 완화: 주석이 붙은 프리미티브로 학습하고, 자기회귀 교사가 생성한 정확한 토큰 순서를 재현하지 않아도 구조적으로 유효한 결과를 허용한다.
• 속도와 정확도 개선: 제공된 요약에 따르면 평가된 2D·3D 로봇 궤적 과제에서 예측 오차를 지속적으로 낮췄으며, 3D 점 운동 예측의 초기 단일 rollout 측정에서는 약 25배 빠른 생성을 보였다.

이 방법의 핵심 전제는 공간 계획에서 특정 토큰 순서를 똑같이 재현하는 것보다 좌표가 정확한 기하 구조를 이루고 실제 과제에서 활용되는 것이 더 중요하다는 점이다. VFlash는 학습의 일부 목표를 시퀀스 모방에서 구조적 타당성과 공간적 정확성으로 옮긴다. 그 결과 좌표를 반복적으로 디코딩하는 단계를 줄일 수 있다.

VFlash 계획을 조건으로 사용하는 world action model도 평가됐다. 네 개의 MolmoSpaces 과제 모음에서 평균 성공률은 70.2%로, 기준 모델의 62.6%보다 높았다. 다만 약 25배라는 수치는 초기 단일 rollout 측정으로 제시된 결과다. 따라서 모든 실제 배포 환경에서 동일한 종단 간 속도 향상이 보장된다고 해석해서는 안 된다.

의미와 영향

VFlash는 완전한 자기회귀 생성과 구조가 없는 연속값 회귀 사이의 중간 경로를 제시한다. 시각 언어 모델의 장면 이해 능력은 유지하면서, 규칙적인 공간 출력을 더 병렬적인 전용 디코딩 과정으로 처리한다. 자주 재계획해야 하는 로봇에서는 점과 궤적 예측 지연을 줄여 더 풍부한 시각 계획을 활용할 여지가 커질 수 있다.

학습 방식의 변화도 중요하다. 유효한 기하 결과가 교사 모델의 토큰 순서와 완전히 일치할 필요가 없다면, 향후 시각 계획 모델은 시퀀스 일치보다 공간 오차와 과제 유용성에 더 직접적으로 최적화될 수 있다. 다양한 로봇 플랫폼, 복잡한 가림, 완전한 폐루프 제어에서도 이러한 장점이 유지되는지는 추가 검증이 필요하다.

출처: Hugging Face Daily Papers