自動回帰型動画モデルに「先読み」を教えるFCP

概要

自動回帰型の動画拡散モデルは、動画を小さなチャンクに分け、過去の内容を参照しながら次のチャンクを順番に生成します。この仕組みは長い動画の継続生成に向いていますが、前後の映像が自然につながることと、シーンの変化を理解していることは同じではありません。Tencent ARCの論文「Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation」は、この差に注目しています。

近接フレームへの依存という課題

教師強制の学習では、現在のチャンクをデノイズする際に、実際の過去コンテキストが与えられます。動画の隣接フレームには色、形状、背景、局所的な動きなどの共通部分が多いため、モデルは画面の連続性を利用するだけでも一定の性能を得られます。

しかし、そのような近道は長期的な予測能力を十分に育てない可能性があります。物体が動き続けるのか、止まるのか、衝突するのか、状態を変えるのかを考えず、直前の見た目を延長するだけなら、短い範囲では滑らかでも、時間が進むほど物理的な不整合が生じます。

Future Chunk Prediction

Future Chunk Prediction（FCP）は、標準的な教師強制デノイジングに加える補助目的です。モデルは現在のチャンクだけでなく、時間的に離れた未来のチャンクも予測します。その際、観測したコンテキストと目標チャンクの間にある映像は直接与えられません。モデルは近いフレームを単純に参照できず、シーンがどのように進むかを推測する必要があります。

FCPの特徴は次の通りです。

• 追加の事前学習済み視覚エンコーダを不要とする：教師信号は学習動画から直接得ます。
• 既存の目的と併用できる：通常のデノイジングを置き換えるのではなく、同時に最適化します。
• 推論手順を変更しない：生成時に特別な予測段階を追加する必要はありません。
• 時間的に離れた変化を重視する：外観の継続だけでなく、動きや状態遷移の表現を促します。

結果と留意点

プロジェクト資料によると、Physics-IQで物理的な妥当性が改善され、I2Vでは11.2%、V2Vでは9.4%の向上が報告されています。また、比較条件では学習計算量を57.9%、データ量を63.4%削減したとされています。未来を対象にした補助監督が、品質だけでなく学習効率にも寄与する可能性を示す結果です。

論文の可視化では、FCPによってより構造化された表現空間が形成される可能性も示されています。ただし、これは分析結果であり、完全な世界モデルを獲得したことを意味するわけではありません。著者らは、現在のデータが一般的なシーン中心で、多様な物理現象のカバレッジには限りがあると説明しています。専門的な物理シーンでの評価は今後の課題です。

意義

FCPが示す重要な点は、時間的一貫性を「前のフレームに似ていること」だけで定義しないことです。良い動画の続きを生成するには、シーンの状態が次にどう変わるかも整合していなければなりません。推論を複雑化せず、学習時に未来チャンクの予測を加える設計は、自動回帰型動画モデルを世界モデルへ近づけるための比較的軽量な方向性といえます。

今後は、物理現象を多く含むデータ、より長い予測間隔、動力学に焦点を当てた評価が重要になります。こうした改善が進めば、動画生成モデルは「自然に見える画面」の生成から、「世界がどう変化するか」の予測へ一歩進める可能性があります。

出典：Hugging Face Daily Papers