RL²-VLA：失敗しそうな時だけRLでVLAを導く新手法

導入

Vision-Language-Action（VLA）モデルは、ロボットが環境を見て、自然言語の指示を理解し、具体的な動作を出力するための有力な枠組みです。しかし、タスクが難しくなったり、環境が学習時の分布から外れたりすると、性能が大きく落ちることがあります。RL²-VLA は、この課題に対して、事前学習済みVLAを変更せず、推論時にだけ追加の制御を行うアプローチを提案しています。

核心ポイント

• 単に候補行動を増やすだけでは不十分：既存のテスト時ステアリングやスケーリング手法は、推論時に複数の行動候補を作ることで性能改善を狙います。しかし、その候補が似た行動に集中していると、同じ失敗パターンを共有してしまいます。
• VLAの潜在表現上で軽量なRLを学習：RL²は、VLAの行動エキスパートから表現力のある潜在変数を取り出し、それを条件とするオフライン強化学習ポリシーを訓練します。
• 凍結したVLAを置き換えない：推論時には、RLポリシーが元のVLAを完全に代替するわけではありません。RL側の流れと、凍結されたVLAの流れを合成し、模倣学習由来の安定した行動事前分布と、RLによる行動多様性を組み合わせます。
• 介入は常時ではなく適応的：論文の重要な観察は、推論時のステアリング効果が、成功しそうな状態と失敗しそうな状態で異なるという点です。すでに成功確率が高い場合、追加の多様性は正しい行動を乱す可能性があります。一方、失敗が予測される場合には、多様な行動が失敗軌道から抜け出す助けになります。
• 実験結果：SIMPLERとPolaRiSベンチマークにおいて、RL²は分布外設定で最大+17.3%の成功率向上を示しました。消融実験とスケーリング研究では、潜在表現とRL訓練の重要性も示されています。さらに、実機実験によりシミュレーション外への移行可能性も検証されています。

意義と影響

RL²-VLAの面白さは、「推論時にもっと計算する」ことを、より選択的な仕組みに変えた点にあります。ロボット制御では、常に強く介入すればよいわけではありません。基盤となるVLAが正しい行動を出せているなら、その出力を不必要に揺らすことはリスクになります。

一方で、分布外の状況では、模倣学習で得た主要な行動モードだけでは抜け出せない失敗が起こり得ます。RL²は、そのような場面でだけRL由来の多様性を利用することで、安定性と適応性のバランスを取ろうとしています。

また、事前学習済みVLAを凍結したまま使える点も実用上重要です。大規模モデルを再訓練するのではなく、推論時のモジュールとして追加できる可能性があるため、既存のVLAシステムを拡張する方向として現実的です。ただし、失敗予測が長期タスクやより開かれた実環境でどれほど信頼できるかは、今後の検証が必要です。

出典：Hugging Face Daily Papers