Masked Visual Actions：動画モデルをロボット向け世界モデルへ近づける視覚的インターフェース

導入

動画モデルは、大量の映像から物体の移動、接触、相互作用に関する豊かな事前知識を獲得している。これはロボットの世界モデルとして魅力的だが、問題は行動をどう伝えるかにある。ロボットの行動は関節角やエンドエフェクタの制御量として表されることが多い一方、動画モデルが慣れているのはピクセル上の変化だ。論文「Masked Visual Actions for Unified World Modeling」は、このギャップを視覚的な行動表現で埋めようとしている。

核心ポイント

• 行動をピクセル空間の軌跡として表す：Masked Visual Actions は、動画内の任意の実体の軌跡を一部だけ明示することで行動を表現する。抽象的な制御命令ではなく、動画モデルが学習してきた視覚空間に近い信号として行動を入力する点が特徴だ。
• 正方向と逆方向の両方に使える：ロボット自身の動きを見せる場合、モデルは低レベルのロボット行動に対して場面がどう変わるかを予測する正方向ダイナミクスモデルとして働く。望ましい物体運動を見せる場合は、その結果に整合するロボット動作を回復する逆モデルとして使える。
• 追加学習は比較的小規模：アブストラクトによれば、実動画とシミュレーションから得た 15 時間分のマスク付き例で微調整するだけで、単一 checkpoint が多様なシーンと複数のロボット身体で高い視覚的忠実度と制御性を示したという。
• 操作タスクへの応用：生成された想像上の rollout は実世界での実行結果と相関し、方策評価に使える。さらに、モデルベース計画で候補となる未来を順位付けしたり、望む物体運動からロボット運動を合成したりできる。

意義と影響

この研究の重要性は、動画モデルをそのままロボット制御器にすることではなく、動画モデルが理解しやすい行動の言語を設計した点にある。行動を視覚的な軌跡として与えることで、既存の動画モデルに埋め込まれた相互作用の知識を、計画や方策評価、逆モデリングに使いやすくする。長期タスクや精密な接触制御での限界はアブストラクトだけでは判断できないが、視覚予測とロボット行動を統一的に扱うための具体的な手がかりを示している。

出典：Hugging Face Daily Papers