Wave Forcing：長時間動画生成を連続ストリーミングへ変える仕組み

長時間動画をリアルタイムに生成するには、単に1フレームの生成速度を上げるだけでは不十分です。人物や物体の外観を維持し、自然な動きを続けながら、出力を途切れさせない仕組みが必要になります。従来のチャンク単位の自己回帰方式では、各チャンクを順番にデノイズし、その後で履歴キャッシュを更新してから次へ進むことが多く、処理が直列化されます。長いロールアウトでは品質低下やカメラのドリフトも起こり得ます。

Wave Forcing（WF）は、この問題を生成方法、学習方法、実行システムの三つをまとめて設計することで解決しようとします。中心となる考え方は「波面スケジューリング」です。先行チャンクがすべてのデノイズ段階を終えるまで待つのではなく、後続チャンクが早い段階からデノイズを開始し、先行計算から得られた、よりクリーンな中間状態を文脈として利用します。チャンク単位の因果注意により、時間方向の制約を維持しながら、まだ処理中の履歴も活用できます。

実行時には、段階の異なるデノイズ処理とキャッシュ更新を複数の完全なモデルレプリカに分散します。パイプラインが埋まった後は、並列フォワードの1ラウンドごとに1つの動画チャンクを出力します。論文ではこの方式を1F1C、つまり「1回のフォワードで1チャンク」と説明しています。完全な直列処理から、常時動作するストリーミングパイプラインへとボトルネックを移す設計です。

Wave Runtime（WaveRT）は、このスケジュールを効率よく実行するためのランタイムです。Wave Parallelism はキー・バリュー状態を利用前に先行転送し、通信と計算を重ね合わせます。最適化カーネルによって演算のオーバーヘッドを抑え、VAEデコードもパイプライン化することで、生成後の復元処理が新たな待ち時間になることを防ぎます。

推論側の仕組みに合わせるため、学習も三段階で構成されています。まず混合ノイズデノイズにより、清浄度の異なる履歴チャンクを扱えるようにします。次に動きの教師信号を加え、外観だけでなく時間的なダイナミクスを改善します。最後に、モデル自身が生成した履歴を使って因果適応を行い、理想化された学習入力と実際のロールアウトの差を縮めます。

Wan2.1-T2V-1.3Bでの実験では、5ステップWFの総合品質は Rolling Forcing と同程度でありながら、短い動画と長い動画の両方でDynamic Degreeが高くなりました。100秒動画では、Dynamic Degreeが36.63から91.45へ、Subject Preservationが92.75から97.10へ向上しています。システム評価では、4ステップ版が8枚のH200で147.6 DiT FPS、134.8エンドツーエンドFPSを達成し、単一GPUのエンドツーエンドスループットの7.07倍に相当しました。条件を揃えたDiT評価では、Wave ParallelismがUlyssesまたはRingのうち高速な基線に対して最大2.53倍のスループットを示しました。

この研究の意義は、動画生成の高速化をサンプリング回数の削減だけに限定せず、チャンクをいつ生成し、中間状態をどう渡し、計算をどう分配するかまで再設計した点にあります。結果は特定モデルとハードウェアに基づくため、モデル規模や解像度、デコード負荷によって効果は変わる可能性があります。それでも、長時間動画を連続配信するためのアルゴリズムとシステムの協調設計を示す取り組みと言えるでしょう。

出典：Hugging Face Daily Papers