아티클 목록으로

VSpark, 비전-언어-행동 모델의 로봇 동작 생성을 가속

약 3분 소요

비전-언어-행동 모델(VLA)은 시각 및 언어 입력을 로봇 동작으로 바꿉니다. 이 모델은 흔히 동작을 자기회귀적으로, 즉 토큰 하나씩 생성합니다. 각 단계가 앞선 결과에 의존하므로 추론 시간이 로봇 제어 루프의 응답 속도에 영향을 줄 수 있습니다. VSpark는 이 과정에 투기적 디코딩을 적용합니다. 경량 초안 모델이 여러 토큰을 먼저 제안하고, 기존 VLA가 이를 한 번에 검증합니다. VLA의 예측과 일치하는 토큰만 받아들여 순차 생성 부담을 줄이면서 원래 모델의 디코딩 결과를 유지하는 것이 목표입니다.

VSpark의 세 가지 설계

투기적 디코딩을 로봇 제어에 그대로 적용하기 어려운 이유는 동작 토큰과 실제 움직임이 일대일로 대응하지 않기 때문입니다. 서로 다른 토큰이 거의 같은 움직임을 나타낼 수 있지만, 토큰 단위 검증에서는 초안이 거부될 수 있습니다. VSpark는 세 가지 요소로 이 문제에 접근합니다.

  • 보정된 동작 노이즈를 포함한 롤아웃. 학습 궤적에 보정된 동작 노이즈를 적용해 초안 모델이 더 다양한 로봇 상태를 접하도록 합니다.
  • 은닉 특징 정렬. 출력 토큰을 맞히는 것뿐 아니라 초안 모델의 내부 특징이 VLA의 은닉 특징과 가까워지도록 학습합니다. 이를 통해 초안이 주 모델의 판단 과정을 더 잘 따르도록 유도합니다.
  • 후속 예측 재사용. 초안이 거부되더라도 검증 과정에서 VLA가 이미 계산한 예측을 버리지 않고, 다음 검증 단계의 후보로 활용합니다.

결과와 의미

논문은 서로 다른 동작 토크나이저를 사용하는 4개 VLA와 4개 로봇 조작 벤치마크에서 VSpark를 평가했습니다. 보고된 속도 향상은 1.28~2.10배이며, 디코딩은 무손실로 유지됩니다. 초안 모델의 예측을 개선하는 데 그치지 않고 검증 중 발생한 계산을 재활용한다는 점도 핵심입니다. 세 설계는 각각 상태 범위의 확장, 두 모델의 표현 정렬, 중복 계산 감소를 겨냥합니다.

동작 생성이 빨라지면 체화형 시스템이 실시간 제어를 수행할 때 연산 여유를 확보할 가능성이 있습니다. 다만 제시된 배율이 모든 로봇, 작업, 하드웨어에서 그대로 재현된다고 볼 수는 없습니다. 제공된 요약에는 모델별 지연 시간, 하드웨어 조건, 각 구성 요소의 기여도를 분리한 결과가 없어 적용 범위를 판단하려면 논문 전체를 확인해야 합니다. 그럼에도 VSpark는 텍스트 생성에서 활용되는 투기적 디코딩을 로봇 동작 시퀀스에 옮기고, 토큰 일치와 물리적 동작의 유사성이 다를 수 있다는 문제를 다룬 사례입니다.

Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
GPT-6.2 Astra, 로봇 조작 과제 성공률 두 배 이상 향상
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

GPT-6.2 Astra, 로봇 조작 과제 성공률 두 배 이상 향상

XDOF의 Ember-0 평가에서 GPT-6.2 Astra는 양팔 로봇 16개 조작 과제의 평균 성공률 41.2%를 기록했다. 두 달 전 GPT-6 Astra의 19.6%보다 크게 높아졌으며, 매듭 묶기와 티셔츠 펼치기에도 성공했다고 XDOF는 밝혔다.

더 보기
CCTest · Blog
Mind2Act World, 로봇의 추론과 행동을 나눠 평가한다
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

Mind2Act World, 로봇의 추론과 행동을 나눠 평가한다

Mind2Act World는 과거 관찰을 바탕으로 한 추론, 동작 실행, 환경 피드백을 통한 두 능력의 결합을 각각 살펴보는 시뮬레이션 벤치마크입니다. 로봇의 실패가 어디서 비롯되는지 진단하는 데 초점을 둡니다.

더 보기