VideoRAE：動画基盤モデルの表現を生成向け潜在空間へ変換

導入

動画生成モデルの性能は、生成器そのものだけでなく、その前段にある潜在空間の質にも大きく左右される。多くの動画生成システムでは、3D-VAE によって動画を低次元の潜在表現へ圧縮し、その上で拡散モデルや自己回帰モデルを学習する。しかし従来の 3D-VAE は、主に画素レベルの再構成を目的として最適化されるため、意味情報、動き、時空間構造を十分に反映した潜在表現になるとは限らない。

arXiv 論文 VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders は、この潜在空間の設計を見直す研究である。鍵となる問いは、V-JEPA 2 や VideoMAEv2 のような動画基盤モデルが持つ凍結表現を、コンパクトで再構成可能、かつ生成モデルに適した動画潜在表現へ変換できるか、という点にある。

主なポイント

• 画素中心から表現中心へ：VideoRAE は、ゼロから 3D-VAE を学習するのではなく、動画理解能力を持つ凍結済み動画基盤エンコーダの特徴を利用する。
• マルチスケール階層特徴を活用：凍結 VFM から複数スケールの階層的特徴を取り出し、意味や時空間構造をより豊かに保持することを狙う。
• 軽量な 1D 自己注意投影器：抽出された特徴は、軽量な 1D self-attention projector によって圧縮され、生成モデルで扱いやすい潜在表現になる。
• 連続・離散の両方に対応：連続潜在表現は Diffusion Transformer に利用でき、さらに多コードブック高次元量子化によって、自己回帰モデル向けの離散トークンも生成できる。
• 表現アラインメントによる復号：デコード時には、凍結 VFM 教師との局所・大域的な表現整合を目的に含めることで、意味保持を改善し、KL 正則化なしの学習を可能にしている。

意義と影響

論文の要約によれば、VideoRAE は連続・離散の両設定で強い再構成性能を示した。UCF-101 の class-to-video 生成では、自己回帰生成器で gFVD 40、DiT 生成器で gFVD 93 を達成し、競合するオートエンコーダ基準より約 5 倍速く収束したと報告されている。また、制御された 2B 規模の text-to-video 実験では、LTX-VAE を VideoRAE に置き換えることで、同等条件下でより速い収束が得られたという。

この研究の重要性は、動画基盤モデルを単なる理解用バックボーンではなく、生成モデルの潜在空間を構成する基盤として捉え直している点にある。大規模な動画理解モデルが獲得した意味構造を、生成システム側が再利用できるなら、動画生成の学習効率や表現品質に大きな影響を与える可能性がある。

一方で、現時点の情報は論文要約に基づくものであり、モデルとコードは公開予定とされている。より広いオープンドメイン動画、長尺動画、多様な text-to-video 条件で同様の利点が維持されるかは、今後の検証を待つ必要がある。

出典：arXiv