DreamX-Creator、7Bモデルで原生音声・映像生成を2Kへ

導入

現在の動画生成システムでは、音声を生成しないものや、映像を作った後に別の段階で音声を合成するものが少なくありません。こうした分離構成は実装しやすい一方、画面上の動きと音響イベントの時間的な対応を、生成中に相互に学習することが難しくなります。DreamX-Creator 1.0はこの課題に対し、音声と映像を同じ生成過程で扱う設計を提案します。7Bのコンパクトな生成器が、首フレームとテキストプロンプトから両モダリティを同時に生成します。

主なポイント

• 原生的な音声・映像生成。 音声と映像にはそれぞれ専用のストリームを用意しつつ、同一のデノイズ処理で生成します。音声を単なる後付けのサウンドトラックとして扱わない点が特徴です。
• 段階的なクロスモーダル接続。 ネットワーク前半では両ストリームを独立に処理し、後半でGated Cross-Modal Attentionを使って情報を交換します。トークン単位と注意ヘッド単位のゲートが出力を調整し、不要な干渉を抑える仕組みです。
• データシステムの整備。 時間的に整合したクリップを構築・選別し、構造化されたマルチモーダル注釈を作成します。さらに、能力ごとにデータプールを整理し、アーキテクチャだけでなく学習データから同期性を支えます。
• 段階的な学習とフィードバック。 2段階の音声・映像事前学習、高品質ファインチューニングに続き、モダリティ対応のマルチモーダル評価を用いた強化学習を行います。映像、音声、両者の関係に関する信号を対応するストリームへ振り分けます。
• 2K出力の高速化。 双方向の多段教師モデルを自己回帰型の精細化器に適応し、時間チャンクごとに1回のデノイズ評価で済む学生モデルへ蒸留します。

意義と今後

この研究の意義は、単に2K解像度を目指したことだけではありません。衝突、演奏、機械の動作、人の行動などでは、映像の変化と音の発生に明確な時間関係があります。両者を共同デノイズすることで、その対応関係を生成器内部で表現する余地が生まれます。

また、音声・映像生成はモデル構造だけで解決できる問題ではありません。時間整合性のあるデータ、段階的な学習、評価信号の設計、推論高速化を一体として設計する必要があります。7B生成器と2K精細化器の公開は、統合型音声・映像生成を試す研究者にとって実用的な出発点になり得ます。

一方、提供された資料が示しているのは、先端のオープンソースシステムと競争力のある性能という説明までです。具体的なベンチマーク名、データ規模、スコアは示されていないため、全面的な優位性と解釈することは避けるべきです。今後は長時間の同期性、クロスモーダル評価の信頼性、必要な計算資源の削減が重要な検証課題になります。

出典：Hugging Face Daily Papers