Frechet Forcing：短い動画から長期安定する世界モデルを学習

背景

ビデオ世界モデルに求められるのは、単に次のフレームを予測することではない。過去の映像と連続する行動入力を条件に、エージェントがその中で操作を続けられる未来を、チャンク単位で生成する必要がある。しかし多くのモデルは短い動画クリップで学習されるため、学習時の長さを超えると問題が現れる。モデル自身の出力が次のコンテキストに戻り、小さな予測誤差が連鎖して、シーンの変形、物体の消失、行動への追従失敗につながる。

教師モデルに依存しない設計

一般的な対策は、モデル自身のロールアウトを学習に取り込み、教師との分布マッチング蒸留で補正する方法である。ただし行動条件付きモデルでは、外部の動画モデルは指定された行動を理解しない可能性がある。一方、事前学習済みの同じモデルを教師にしても、学生と同じドリフトを抱える。

Frechet Forcingは、長い生成が特定の教師や記録済みの長期未来に逐フレームで一致する必要はないと考える。重要なのは、元のシーンに忠実で、現実的であり、指定された行動に従う継続である。そこで次の三つの制約を組み合わせる。

• 生成アンカリング：実データの末尾にモデル自身の生成履歴を接続し、その状態からフローマッチング損失を適用する。実運用に近い自己条件付きコンテキストを学習に導入できる。
• コンテキスト忠実度：自由生成したロールアウトの潜在特徴統計を、開始点となる実クリップを中心とする統計と比較する。Fréchet距離により、シーンの同一性や配置の変化を抑える。
• 現実性マッチング：凍結した知覚特徴空間で、生成フレームと実フレームの分布を比較し、視覚的な自然さを保つ。

これらの目標は短い実動画から作れるため、数千フレームの記録済み未来、オンライン批評器、追加の教師モデルを必要としない。行動追従は、従来の条件付き生成損失によって維持される。

結果と意義

論文では、253フレームのクリップで事前学習したMiniWorld-1Bを、最大381フレームのクリップで微調整した。報告によれば、36 GPU時間以内の微調整で、生成は4000フレームを超えても安定し、ロボット操作とカメラ制御による探索の双方で行動入力に反応し続けた。

この研究の意義は、長期学習に必要なデータの考え方を変える点にある。非常に長い実演データを大量に集める代わりに、短い実データから得た統計で自己生成する未来の分布を制御する。長期の連続データを集めにくいロボット分野や、自己回帰的に動作するストリーミング生成器にとって有用な方向性だ。

ただしFréchet距離が保証するのは特徴分布の整合であり、各フレームや各行動結果の正確さではない。物体状態の維持、細かな行動達成度、未知タスクへの一般化については、より詳細な評価が必要である。

出典：Hugging Face Daily Papers