WorldFlow、未来映像と3D運動を同時に予測する世界モデル

導入

ロボットが現実世界で行動するには、次にどのような映像が現れるかだけでなく、物体が三次元空間のどこへ、どの程度移動するかを予測する必要がある。既存の動画世界モデルでは3Dダイナミクスが視覚表現の中に暗黙的に残りやすく、行動条件付きのモデルは特定のロボット形状や制御インターフェースに依存しやすい。WorldFlowは、未来の動画と明示的な3D物体軌跡を同時に生成することで、この差を埋めようとする。

視覚変化と幾何運動を接続

WorldFlowが対象とするのは、問い合わせ型の3D軌跡予測である。モデルは、もっともらしい未来映像だけを生成するのではなく、指定された物体や空間上の点が将来どのような経路をたどるかを予測する。3D運動は連続的な変位トークンとして表され、動画グリッド上の位置と対応付けられる。この設計により、画像内の局所的な変化と空間上の移動を共通の構造で扱える。

バックボーンにはMixture-of-Transformers（MoT）を採用し、動画と3D運動の両方をrectified-flowの目的関数で同時にデノイズする。重要なのは、単に幾何情報の出力層を追加したことではない。映像の変化と明示的な幾何監督を結び付けることで、事前学習済み動画モデルが持つ物体や相互作用、運動に関する知識を、3D上の位置変化の学習に利用する点にある。

大規模学習と評価

この統合方式の汎化性を調べるため、研究チームはシミュレーション環境と実世界の双方を含む異種データから、144万件の物体レベルサンプルを用いて学習した。さらに、11のデータソースから1678件の評価サンプルを集めたWorldFlowBenchを構築した。ベンチマークには、シミュレーションと実世界のインタラクションに加え、空間推論タスクも含まれる。

論文概要によると、3つの評価集合すべてで、WorldFlowは比較対象となった学習ベース手法の中で平均変位誤差（ADE）と終点変位誤差（FDE）が最も低かった。難度の高いSpatialCogではADEが0.060メートルに達し、提供された概要は比較手法に対して54.2％の低減と説明している。ただし、素材が途中で切れているため、その比較対象の正式名称は確認できない。結果は、運動だけに依存する教師信号や、暗黙的な視覚表現よりも、映像と幾何を共同で学習する方式が有効である可能性を示す。

意義と残された課題

WorldFlowは、特定のロボット構成に縛られない物体運動予測への道筋を示す。明示的な軌跡は空間推論やインタラクション計画、将来のワールドアクションモデルに利用でき、動画生成はその軌跡を解釈するための視覚的文脈を保つ。

一方、提供された情報だけでは、長期予測、強い遮蔽、複雑な接触、実機ロボットの閉ループ制御での性能までは判断できない。予測された軌跡が、そのまま実行可能な行動計画になるわけでもない。今後は、予測を実際の意思決定に接続したときにも安定性が保たれるかを検証する必要がある。

出典：Hugging Face Daily Papers