CARE, 비전-언어-행동 모델 가속에 통계적 안전장치 제시

배경

비전, 언어, 행동을 결합하는 VLA 모델은 로봇이 자연어 지시를 이해하고 시각 정보에 기반해 행동하도록 만드는 핵심 기술로 부상하고 있습니다. 그러나 제어 단계마다 대형 모델을 실행하면 추론 비용과 지연 시간이 커집니다. 액션 청킹, 시각 토큰 프루닝, 생성 단계 축소는 이를 줄일 수 있지만, 특정 작업에 필요한 정보까지 제거할 위험이 있습니다.

평균 성공률과 평균 지연 시간만으로는 이 문제를 충분히 드러낼 수 없습니다. 가속 정책이 대부분의 작업에서 정상적으로 동작하더라도, 기준 정책이라면 해결했을 작업 일부를 실패할 수 있습니다. 특히 폐루프 제어에서는 작은 행동 차이가 다음 단계에 누적되기 때문에, 가속으로 인한 문제는 전체 에피소드가 끝난 뒤에야 관찰될 수 있습니다.

CARE의 접근법

• 가속 유발 실패를 별도로 측정한다. 기준 정책은 성공했지만 가속 정책은 실패한 경우만 핵심 실패로 집계합니다. 두 정책이 모두 실패한 사례와 구분해 가속이 초래한 손실을 직접 평가합니다.
• 동일한 조건에서 쌍으로 실행한다. 같은 초기 상태에서 기준 정책과 후보 정책을 각각 실행하고 완전한 에피소드의 종료 결과를 비교합니다. 내부 모델 구조나 특정 가속 기법에 의존하지 않는 방식입니다.
• 배포 전 통계적 인증을 수행한다. 보정 세트에서 유한 표본 검정을 적용해 가속 유발 실패 위험이 사용자가 지정한 예산 아래에 있는지 판단합니다. 인증을 통과한 후보가 없으면 기준 정책을 사용합니다.
• 평가 비용을 줄인다. 순차 검정은 후보의 통과 또는 탈락을 충분히 판단하면 평가를 조기에 종료합니다. 가속 실행이 실패한 경우에만 기준 정책 실행을 추가해 불필요한 전수 비교도 줄입니다.

결과와 영향

OpenVLA-OFT와 네 개의 LIBERO 스위트에서 CARE는 9.0~10.8배의 가속을 인증했습니다. 또한 95% 신뢰수준에서 기준 정책이 해결한 에피소드의 최소 85.8%가 보존된다는 보장을 제시했습니다. 엄격한 위험 예산 조건에서는 보장 기능이 없는 선택기가 일부 실험의 최대 75%에서 예산을 초과했지만, CARE는 설정된 제한 안에 머물렀습니다. 순차 방식은 전수 평가와 비교해 rollout 수를 78.9% 줄였습니다. 연구진은 pi0.5의 flow-step 축소와 Crafter의 Qwen3.5-9B 및 Llama-3.1-8B 에이전트에도 이 접근법을 적용했습니다.

이 연구의 핵심 의의는 VLA 가속을 단순한 속도 최적화가 아니라 제약이 있는 선택 문제로 바꿔 본 데 있습니다. 실제 로봇 배포에서는 평균 지표뿐 아니라 기존 정책의 능력을 얼마나 보존하는지, 실패 위험을 사전에 설명할 수 있는지가 중요합니다. 다만 보장은 보정 세트의 대표성, 초기 상태 분포, 종료 성공 판정의 품질에 의존합니다. 따라서 CARE는 모든 환경에서의 절대적 안전 증명이 아니라, 가속기를 배포하기 전에 위험을 통제하는 통계적 관문으로 보는 것이 적절합니다.

출처: Hugging Face Daily Papers