FlashForward、飛行中のKVキャッシュで長時間動画拡散を高速化

長い動画を拡散モデルで生成する際の課題は、1フレームごとの品質だけではない。時間が伸びるほど、人物や物体の外観、動き、構図を維持しながら次の区間を生成する必要がある。少ステップの自己回帰型動画拡散では、動画を時間方向のチャンクに分割し、短いノイズ除去処理をチャンクごとに繰り返す。過去の内容を後続チャンクへ伝えるため、注意機構のキー・バリュー（KV）キャッシュが重要になる。

既存計算をそのまま利用する

従来の方法では、過去のチャンクについてクリーン、またはノイズの少ないKV履歴を作るため、出力潜在を先へ進めない追加のモデル推論を実行することがある。品質面では有効だが、キャッシュ更新だけの前向き計算が増え、生成速度を下げる要因になる。

FlashForwardの着眼点は、通常のノイズ除去推論が、現在のチャンクに対応するKVをすでに計算していることだ。この「インフライト」キャッシュを破棄して再計算するのではなく、現在のチャンクがあるノイズ除去段階を終えた時点で、次のチャンクに渡す。これにより、段階ごとに異なるGPUを割り当て、複数のチャンクを異なる段階で同時に処理するパイプラインを構成できる。

早期利用が生む品質上の課題

ただし、早く利用できるキャッシュは、完全にノイズ除去された履歴ではない。段階に対応した履歴だけへ依存すると、チャンクをまたいでノイズが蓄積し、外観や動きが徐々にずれる可能性がある。FlashForwardは、この問題を疎なクリーンアンカー潜在で補う。対応する領域が実際に生成される前に補助的なアンカーを作り、クリーンアンカーKVとして利用する仕組みだ。

二種類の記憶は異なる時間スケールを担当する。

• 密な段階対応履歴：直近の細かな変化や動きの連続性を保持するが、ノイズを含む。
• 疎なクリーンアンカー：長い時間範囲にわたる外観や構造の基準を与える。
• 組み合わせた条件付け：局所的な進化と長期的な安定性を両立させる。

論文では、1.3Bおよび14Bのバックボーン、480pと720p、20秒以上の16 FPS動画を対象に評価している。最大4GPUの構成で、HiARに対して1.16～1.69倍、Self-Forcingに対して1.42～2.92倍の高速化を報告した。また、1.3Bモデルの480p設定では、VBenchのスコアが高く、20秒、35秒、65秒の動画でも安定した結果を示したとしている。

研究の意味

この研究の重要性は、KVキャッシュを「完全にクリーンになってから使うもの」と限定せず、生成途中の状態を計算スケジューリングにも活用した点にある。密な履歴は短期的な動きを支え、疎なアンカーは長期的な構造を安定させる。キャッシュの品質と利用タイミングを分けて設計することで、速度と一貫性のトレードオフを調整している。

一方、報告された効果は、少ステップ自己回帰拡散、特定のモデル、マルチGPU構成に依存する。アンカーの密度、段階の分割方法、GPU間のメモリ通信が、別の環境での実効速度を左右する可能性もある。そのためFlashForwardは、あらゆる動画生成器に適用できる万能策というより、長時間動画推論向けのキャッシュ管理とパイプライン設計として捉えるのが適切だ。

出典：Hugging Face Daily Papers