EXIMO：VLM計画でVLAロボット方策を効率的に適応

導入

ロボットに新しい作業を学習させる方法は、主に人間による遠隔操作データを集める方法と、強化学習によって試行錯誤させる方法に分けられる。前者は視覚・言語・動作モデル（VLA）の行動クローニングに利用できる一方、大量の人手と時間を必要とする。後者は人間の実演を減らせるが、複数の手順からなる長期タスクでは探索が難しく、サンプル効率も低くなりやすい。EXIMOは、この二つを段階的に組み合わせてVLAを適応させる。

3段階の仕組み

EXIMOの処理は、Explore、Imitate、Optimizeという3段階で構成される。

• 探索：視覚言語モデル（VLM）を計画器としてVLAに組み合わせる。VLMは複雑な長期タスクを理解し、短いサブタスクへ分解する。VLMとVLAは協調して新しい環境でデータを収集し、VLAがタスク全体を無計画に試行錯誤する状況を避ける。
• 模倣：収集した整理済みの軌跡を使ってVLAを微調整する。これにより、強化学習を始める前に、タスクの基本的な順序や動作パターンを方策へ与えられる。
• 最適化：最後に残差オフポリシー強化学習を適用する。ゼロから新しい方策を学ぶのではなく、既存のVLAの動作に対する補正を学習し、実演だけでは埋まらない誤差や細部を改善する。

重要なのは、各モデルに異なる役割を与えている点だ。VLMは高レベルの理解と分解を担当し、VLAは画像に基づく具体的な動作を実行する。強化学習は、その初期方策を局所的に改善する。

意義と残された課題

大規模VLAを直接強化学習で最適化する場合、計算コストだけでなく、モデルの規模や構造に由来する難しさも生じる。EXIMOは、VLMで探索を整理し、模倣学習で出発点を作り、残差RLで必要な部分だけを修正することで、より段階的な学習経路を設計した。

著者らは3段階すべてについてアブレーションを行い、論文概要では、完全なEXIMOが既存手法をサンプル効率と最終性能の両面で上回ったと説明している。これは、VLA適応において実演学習と強化学習を単純に選択するのではなく、構造化された探索を両者の接続役にできる可能性を示す。

一方、提供された素材には、具体的なロボット構成、タスク、データ量、数値結果は含まれていない。そのため、異なる環境への汎化、VLMの計画ミスがVLAへ及ぼす影響、残差RLの安定性については、本文の実験を確認する必要がある。EXIMOの示す方向性は明快だ。まず「何段階に分けて試すか」を計画し、その後に「各段階をどう上手く実行するか」を学習させるのである。

Hugging Face Daily Papers