PDRVLA、VLAモデルに物理ダイナミクス表現を導入

導入

視覚言語行動（VLA）モデルは、カメラ映像と自然言語の指示からロボットの行動を生成できます。しかし、現在の場面を認識することと、行動後に場面がどう変化するかを予測することは別の問題です。物体を押す、つかむ、置くといった操作では、接触後の移動、奥行き関係の変化、後続動作への影響を見積もる必要があります。PDRVLAは、制御のたびに未来動画を生成することなく、VLAに物理ダイナミクスの表現を加えようとする研究です。

手法のポイント

中心となるのは、軽量なPhysical Dynamics Moduleです。このモジュールは視覚と言語の特徴を入力として物理トークンを抽出し、それを行動生成の条件として利用します。動画世界モデルをオンラインで完全に実行する代わりに、将来の変化を表すコンパクトな特徴を学習することで、制御ループの遅延を抑える設計です。

学習では、次のような未来の視覚特徴を直接予測します。

• RGB特徴：見た目の変化を表現
• 深度特徴：空間構造の変化を表現
• オプティカルフロー特徴：物体や場面の運動傾向を表現

さらに、凍結された事前学習済み動画世界モデルから補助的な教師信号を受け取ります。世界モデルの動的知識を学習時に利用しつつ、実際の方策では完全な未来動画を繰り返し生成しない点が特徴です。

データと結果

論文によると、学習は公開データだけで行われます。人間の操作データからロボット向けデータを合成し、サブタスク注釈と具身チェーン・オブ・ソート（ECoT）注釈も加えています。これにより、低レベルの行動ラベルだけでなく、タスク分解や将来状態に関する情報も利用できます。

成功率はLIBEROで99.3%、LIBERO-Plusで89.9%、RoboTwin 2.0で93.6%、SimplerEnvで81.5%でした。アブレーションでは、世界モデルによる監督、サブタスク条件付け、未来の物体姿勢に関する監督、ECoT学習が、未来予測と行動成功率に与える影響を調べています。

意義と限界

PDRVLAの意義は、二つの方式の中間を示した点にあります。ロボットはオンラインで完全な未来動画を作る必要がなく、一方で静止した現在画像だけに基づいて判断する必要もありません。物理トークンを介して、次に起こり得る変化を行動決定へ反映できます。接触、運動、遮蔽が関わる操作にとって示唆的な設計です。

ただし、提示された評価はシミュレーションベンチマークが中心であり、実機での性能、計算コスト、実環境間の汎化については素材から確認できません。センサー雑音、未知物体、複雑な接触ダイナミクスへの頑健性は今後の検証課題です。それでも、世界モデルの予測能力を低遅延のVLA制御へ移す一つの道筋を示しています。

出典：Hugging Face Daily Papers