JoyAI-Echo-1.5、長期音声・映像生成を持続する物語と対話型世界へ

導入

動画生成は、見栄えのよい短いクリップを一度出力する段階から、長く続く物語やユーザーが探索できる世界を作る段階へ移りつつあります。しかし、長期生成では画質だけでは不十分です。ショットが変わっても人物の顔や服装が崩れず、声の同一性が保たれ、カメラ操作に応じて視点が動き、時間が伸びても世界の状態が安定していなければなりません。JoyAI-Echo-1.5は、この課題を音声と映像を一体として扱うシステムで捉えています。

2つの専用構成

論文では、用途に応じた2つのバリアントが示されています。

• 長編動画バリアント：複数の過去ショットから視覚的な証拠を集約する、組み合わせ可能なクロスショット記憶を導入します。直前のフレームや単一の参照画像だけに依存せず、物語の履歴から情報を再利用することで、テキスト、画像、記憶を柔軟に組み合わせた条件付けでも人物の外見を維持することを狙います。
• ワールドモデル・バリアント：種類の異なるナビゲーション入力を、校正されたメートル尺度の6-DoFカメラ軌道へ変換します。これをジオメトリを考慮した条件付け経路から生成モデルへ与えることで、特定のコントローラーに依存しない視点操作を可能にします。

音声処理も中核です。話者情報は、音声区間を抽出したフルショット音声から得られます。これにより、音声を単なる背景要素として扱うのではなく、場面をまたいで話者のアイデンティティを保つ条件として利用します。外見と声を別々に記憶するのではなく、時間をまたぐマルチモーダルな同一性の問題として扱っている点が特徴です。

長期ロールアウトに向けた学習

長い生成では、学習と推論の条件が異なる問題も生じます。学習中は正しい過去履歴を利用できても、推論時にはモデル自身が作った不完全な結果を次の入力に使うからです。JoyAI-Echo-1.5は、双方向の音声・映像バックボーンを因果的な少ステップ生成器へ変換し、漸進的な教師強制を採用します。さらに、モデルが自ら生成したロールアウトに対して短期および長期のSelf-Gradient Forcingを行い、実運用に近い履歴から学習させます。

結果と意味

要約によれば、長編動画バリアントは既存の長編動画ベースラインに対し、ショット間の一貫性、映像品質、テキストとの整合性、音声の忠実度で改善を示しました。ワールドモデル・バリアントはWBenchで平均81.7を記録し、SANA-WM-Benchでも映像品質と長期的な持続性で先行する結果を報告しています。ただし、提供された素材には完全な評価条件や比較表がないため、詳細な優位性は論文本文での確認が必要です。

この研究の意義は、長編動画と世界モデルに共通する課題を、記憶・操作・安定性の組み合わせとして整理した点にあります。将来的には、生成AIが使い捨ての短編を出力するだけでなく、継続的に展開する物語空間や探索可能な視覚環境を維持する可能性があります。一方で、さらに長いロールアウトでの破綻、複雑な操作に対する幾何学的な正確さ、視点や話者が大きく変わる場合の記憶の信頼性は、今後も検証すべき課題です。

出典：Hugging Face Daily Papers