PixVid、動画拡散モデルを潜在空間からピクセル空間へ

導入

現在の動画生成モデルの多くは、元の画素をそのまま扱わない。まずVAEで動画を空間方向と時間方向の両方に圧縮し、その潜在表現上で拡散処理を行う。これにより学習や推論の負荷を抑えられる一方、いくつかの制約も生じる。解像度を上げるとトークン数が急増し、条件入力は個々のフレームではなく複数フレームのまとまりに適用されやすい。さらに、インタラクティブな生成では、マルチフレームのブロック全体を待つ必要がある。

Robloxの研究チームが提案したPixVidは、既存の潜在動画モデルをピクセル空間へ移す試みだ。生成器全体を作り直すのではなく、拡散Transformerを残し、出力を動画に変換する経路を変更している。

PixVidの主な設計

• 拡散Transformerを維持：Wan2.1-14Bから微調整し、時空間モデリングとノイズ除去の中心部分を再利用する。
• VAEデコーダを置換：畳み込みヘッドで出力を直接ピクセルフレームへ描画し、潜在表現をVAEで復号する経路を避ける。
• クリーン動画を予測：拡散速度を予測する方式ではなく、ノイズ除去後の動画そのものを予測する設計を採用する。
• 大きなノイズシフトを利用：予測対象の変更と合わせて、画質に重要な要素として示されている。
• フレーム単位で処理：1フレーム当たりのトークン数を保ったまま、およそ2倍の解像度を扱い、新しいアクションを次のフレームで反映できる。

意義と限界

約130万の学習クリップでWan2.1-14Bを微調整したPixVidは、潜在空間のベースラインに競争力を持つと報告されている。深度条件付き動画編集では、動きが速い場面でも条件との整合性を維持し、インタラクティブな用途では大きなフレームブロックの完了を待たずに反応できるという。

この研究の意義は、動画生成で潜在圧縮を当然の前提とせず、目的に応じてピクセル空間を再検討した点にある。高解像度化、直接的な編集、リアルタイム制御が重視されるほど、フレーム単位の細かな制御は重要になる。大規模な既存バックボーンを活用しているため、移行のための変更を比較的限定できる点も実用的だ。

一方、提供された素材には速度、メモリ使用量、画質指標、他モデルとの詳細な比較は含まれていない。そのため、あらゆる条件でピクセル空間方式が優れると判断するのは早い。解像度、動画長、ハードウェアが変わった場合の安定性は、論文本文と再現実験で確認する必要がある。

出典：Hugging Face Daily Papers