WAVE-0, 행동 전 결과 예측으로 로봇 조작 강화

개요

시각·언어·행동(VLA) 정책은 이미지와 자연어 지시를 바탕으로 다양한 로봇 조작을 수행할 수 있습니다. 그러나 많은 VLA는 환경이 어떻게 변할지 명시적으로 추론하기보다 다음 행동을 바로 생성합니다. 세계 행동 모델(WAM)은 미래 예측을 추가하지만, 고비용 비디오 생성이나 대규모 비디오 사전 학습을 필요로 하는 경우가 많습니다. WAVE-0는 픽셀 단위의 미래 영상을 만들지 않고 잠재 공간에서 행동의 결과를 예측하는 방식을 제안합니다.

핵심 내용

• VLA와 세계 모델의 결합. 사전 학습된 VLA에서 VLM이 만든 잠재 행동 계획을 세계 모델에 입력하고, 예측된 미래 표현을 행동 전문가에 전달합니다. 의미 이해, 미래 예측, 행동 생성을 하나의 추론 과정으로 연결한 구조입니다.
• 비디오 모델링 비용 절감. 세계 모델의 규모는 2억 5,700만 개 파라미터이며, 픽셀 재구성이나 대규모 비디오 사전 학습을 요구하지 않습니다. 실제 로봇 행동을 바탕으로 어떤 계획이 더 타당한 결과를 낼지 학습합니다.
• 반사실적 순위 학습. 미래 영상을 그대로 복원하는 대신, 서로 다른 행동이 가져올 잠재적 결과를 비교하고 순위를 매깁니다. 이를 통해 행동 선택에 사용할 수 있는 방향성 있는 신호를 제공합니다.
• 여러 벤치마크에서 높은 성공률. RoboTwin 2.0에서 91.47%, LIBERO에서 98.7%의 성공률을 기록했습니다. LIBERO-Plus, LIBERO-Pro, LIBERO-Para에서는 각각 88.0%, 61.4%, 75.0%를 보고했습니다. 실제 환경 과제에서는 π₀.₅의 성공률이 38.3%에서 73.3%로 상승했습니다.

의미와 한계

WAVE-0의 핵심은 미래 예측을 학습 단계의 보조 목표로만 사용하지 않고, 실행 시점의 행동 생성에 직접 연결했다는 데 있습니다. 로봇은 행동을 결정하기 전에 해당 행동 이후의 상태를 잠재 표현으로 가늠할 수 있습니다.

이 접근법은 세계 모델을 로봇에 적용하는 비용을 낮출 수 있는 실용적인 경로를 제시합니다. VLA가 가진 풍부한 의미 표현을 활용하고, 장면 전체를 비디오로 복원하는 대신 행동 후보의 결과를 비교하면, 비디오 생성 중심의 세계 모델보다 단순한 구조로 미래 정보를 사용할 가능성이 있습니다.

다만 제공된 자료만으로는 긴 시간 범위의 작업, 큰 환경 변화, 다른 로봇 플랫폼으로의 전이 성능까지 확인하기 어렵습니다. 그럼에도 WAVE-0는 잠재 미래 예측이 로봇 조작의 안정성과 일반화에 기여할 수 있음을 보여주는 사례입니다.

출처: Hugging Face Daily Papers