WorldSonus、世界モデルにリアルタイムの空間音響を加える

導入

世界モデルは、現実感のある映像環境を生成できるようになってきました。しかし、生成された世界の多くは依然として無音です。画面上を車が走ってもエンジン音がなく、カメラが向きを変えても音場が変化しないなら、環境は視覚的には自然でも、インタラクティブな世界としては不完全です。ゲーム、仮想訓練、具身型システム、インタラクティブな物語では、音は雰囲気だけでなく、出来事の発生、方向、距離を伝える手がかりになります。

WorldSonusは、この不足を埋める動画から音声へのフレームワークです。音を完成した映像に後から付けるのではなく、変化し続ける動画ストリームの一部として、連続的かつ操作可能に生成することを目指しています。

主なポイント

• ストリーミング生成。 WorldSonusは、ストリーミング型の因果的な自己回帰拡散アーキテクチャを採用し、音声を連続するチャンクに分けて生成します。動画全体を待ってから音を作るのではなく、インタラクティブな映像の進行に合わせる設計です。論文はリアルタイム係数（RTF）0.41を報告していますが、提示された素材にはハードウェアや測定条件の詳細がないため、あらゆる環境での遅延を保証する数値とは解釈できません。
• 生成途中の制御。 音声中心のキャプション処理と、チャンクのインデックスに基づくプロンプトスケジューリングを組み合わせています。これにより、生成の途中で特定の音響イベントや環境音を変更する方向性が示されます。映像全体を最初から作り直さずに、音の指示を更新できる点が特徴です。
• 空間に整合したステレオ。 多様なステレオおよびアンビソニックスのデータから高品質なステレオ教師信号を構成しています。単に左右二つのチャンネルを出力するだけでなく、シーンの形状やカメラの動きに応じて音場が変化することを狙っています。
• 世界モデル以外にも適用。 世界モデルを主な対象としながら、オープンドメインの動画音声生成ベンチマークでも評価しています。論文によれば、音響品質と空間整合性の双方で、先端的な双方向モデルに匹敵、または上回る結果が得られました。

意義と今後

WorldSonusは、世界モデルを「見える環境」から「聞くことのできる環境」へ拡張する一つの道筋を示しています。因果的なストリーミング生成はリアルタイム処理に、チャンク単位のプロンプトは途中からの介入に、ステレオ教師信号は視覚と音響の空間的一貫性に対応します。ゲーム、シミュレーション、インタラクティブ映像などで、映像と音を同時に扱う設計につながる可能性があります。

一方、提供された素材には、詳細な遅延、必要な計算資源、データセット規模、音響イベント別の結果は記載されていません。そのため、WorldSonusはすべての場面を解決する完成品というより、リアルタイム空間音響の有望な技術方針として捉えるのが適切です。長時間生成の安定性、複雑な音源の分離、指示と音の変化の正確な対応は、今後も検証が必要です。

出典：Hugging Face Daily Papers