Speculative Forcing、動画生成の冗長なデノイズを削減

概要

自己回帰型の動画生成モデルは、コンテンツを順番に出力できるため、ストリーミング生成に適しています。しかし、少ステップの生成器では、すべてのTokenを同じ回数だけ最終デノイズまで処理することが一般的です。すでに安定しているTokenにも、まだ修正が必要なTokenと同じ計算を割り当てることになります。NAVER AI Labが提案した Speculative Forcing は、この均一な処理をToken単位の動的な処理に変えます。

仕組み

生成途中では、モデルが最終的なクリーンコンテンツに近い推定を出力します。この推定をそのまま最終段階まで進めるのではなく、下書きとして検証します。検証器は、そのTokenが十分に信頼できるかを判断します。

• 早期確定：最終結果との差が小さいと見込まれるTokenを受け入れ、後続のデノイズを停止します。
• 文脈を維持：確定したTokenのキーとバリューのキャッシュは保持され、後続Tokenの生成に利用されます。
• 必要な部分だけ精密化：不安定なTokenは追加のデノイズを受け続けます。
• 2種類の検証器：学習不要の方式はクリーンコンテンツとの類似度とステップ間の安定性を使います。学習方式は、固定された生成器の中間特徴から、最終出力までの残りの差を推定します。

結果と注意点

評価は短い動画、長い動画、世界生成を対象に行われました。LongLiveでは、Tokenあたり約1.7回のデノイズで4ステップ生成器に近い品質を保ち、テスト条件で毎秒41.7および37.8フレームを達成しました。速度は従来処理の1.5倍を超えます。カメラ移動によって見える内容が継続的に変化するLingbot-World 2.0では、Tokenあたり約2.5回のデノイズで品質を維持し、毎秒24.5フレーム、約1.35倍の速度が報告されています。

これらの結果は、動画生成の計算量がすべてのTokenで同じではないことを示します。すぐに安定する領域がある一方、動きの激しい部分や新たに現れる内容には追加計算が必要です。そのため、全体のサンプリングステップを単純に減らすより、Tokenごとに判断する方が柔軟です。ただし、早期確定の品質は検証器に依存し、急激に変化するシーンでは判断が難しくなる可能性があります。

意義

Speculative Forcingは、生成途中の予測を推論スケジュールの制御に利用します。画質を一律に犠牲にするのではなく、追加精密化の効果が小さい部分だけ計算を省く考え方です。リアルタイム動画、長時間動画の継続生成、対話的な世界モデルでは、遅延とスループットの改善につながる可能性があります。固定ステップ中心だった生成推論を、コンテンツの難しさに応じて動的に配分する方向を示す研究と言えます。

出典：Hugging Face Daily Papers