RL²-VLA: 실패가 예상될 때만 RL로 로봇 행동을 보정하다

들어가며

비전-언어-행동(VLA) 모델은 로봇이 장면을 인식하고, 자연어 지시를 이해하며, 바로 행동을 생성하도록 만드는 중요한 접근법입니다. 하지만 작업이 어려워지거나 환경이 학습 데이터의 분포를 벗어나면 성능이 쉽게 떨어집니다. RL²-VLA는 이 문제를 해결하기 위해, 사전학습된 VLA를 수정하지 않고 추론 시점에만 강화학습 기반 보정을 적용하는 방법을 제안합니다.

핵심 내용

• 행동 샘플을 늘리는 것만으로는 부족하다: 기존의 테스트 타임 조향과 스케일링 기법은 더 많은 행동 후보를 만들어 성능을 높이려 합니다. 그러나 후보들이 비슷한 행동 주변에 몰리면 동일한 실패 모드를 공유할 수 있습니다.
• VLA 잠재 표현 위에서 오프라인 RL 정책을 학습한다: RL²는 VLA의 행동 전문가에서 표현력 있는 잠재 변수를 추출하고, 이를 조건으로 하는 가벼운 오프라인 강화학습 정책을 훈련합니다.
• 기존 VLA를 대체하지 않고 합성한다: 추론 단계에서 RL 정책은 원래 VLA를 갈아엎는 것이 아니라, 동결된 VLA의 흐름 속도와 자신의 흐름 속도를 조합합니다. 이를 통해 대규모 모방학습이 제공하는 안정적인 행동 사전지식과, RL이 유도하는 더 다양한 행동을 함께 활용합니다.
• 조향은 적응적으로 켜진다: 논문의 중요한 관찰은 테스트 타임 조향이 성공 가능성이 높은 상태와 실패 가능성이 높은 상태에서 다르게 작동한다는 점입니다. 이미 올바른 행동을 낼 가능성이 높다면 추가 다양성이 오히려 행동을 흐트러뜨릴 수 있습니다. 반대로 실패가 예상되는 상태에서는 다양성이 실패 궤적에서 벗어나는 데 도움이 됩니다.
• 실험 결과: RL²는 SIMPLER와 PolaRiS 벤치마크의 분포 밖 설정에서 최대 +17.3%의 성공률 향상을 보였습니다. 또한 소거 실험과 스케일링 분석을 통해 잠재 표현과 RL 학습의 중요성을 확인했으며, 실제 로봇 실험에서도 시뮬레이션을 넘어선 적용 가능성을 제시했습니다.

의미와 영향

RL²-VLA의 핵심은 “추론 시 더 많이 계산하자”가 아니라 “필요할 때만 개입하자”에 가깝습니다. 로봇 제어에서는 지나친 개입도 문제가 될 수 있습니다. 기본 VLA가 이미 정확한 행동을 내고 있다면, 불필요한 조향은 오히려 성공 가능성을 낮출 수 있습니다.

반면 분포 밖 환경에서는 모방학습으로 얻은 대표적인 행동 패턴만으로는 실패에서 벗어나기 어렵습니다. RL²는 이런 상황에서만 RL이 제공하는 행동 다양성을 활용해 안정성과 적응성 사이의 균형을 노립니다.

실용성 측면에서도 장점이 있습니다. 사전학습된 VLA를 동결한 채 사용할 수 있기 때문에, 대형 모델을 처음부터 다시 학습하는 방식보다 기존 시스템에 추가하기 쉽습니다. 다만 실패 예측이 더 긴 작업이나 복잡한 실제 환경에서도 얼마나 안정적으로 작동하는지, 오프라인 RL 정책이 데이터 품질에 얼마나 민감한지는 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers