WorldSonus：让世界模型从“会看”走向“有声”

导语

世界模型正在生成越来越逼真的视觉环境，但这些环境常常像一段没有音轨的视频：画面中的车辆、脚步、风声或碰撞声并不会自然出现。对于需要持续交互的虚拟世界、游戏和具身智能系统而言，声音不仅是氛围元素，也可能是判断距离、方向和事件变化的重要线索。WorldSonus 试图补上这一环节，提出一个面向世界模型的交互式视频到音频框架。

核心要点

• 面向实时流式生成。 WorldSonus 采用流式因果自回归扩散架构，把音频拆分为连续片段生成，而不是等待完整视频结束后再一次性合成。论文报告的实时因子（RTF）为 0.41，意味着其设计目标是跟上交互式视频流的处理节奏。由于素材没有给出硬件和测试设置，不能简单将这一数值等同于所有设备上的实际延迟。
• 支持生成过程中的声音控制。 系统引入以音频为中心的字幕生成流程，并使用按片段索引的提示词调度。这样，用户可以在生成进行到一半时调整声音事件，例如改变某个时间段的环境声或加入新的音效，而不必重新处理整段视频。
• 强调立体声与场景空间关系。 为了让声音更贴合画面中的几何关系和相机运动，研究团队使用来自多种立体声与全景声数据的高质量立体声监督。这里的重点不是简单生成左右声道，而是让声场变化与视频中的视角和空间布局保持一致。
• 不局限于世界模型场景。 尽管系统针对世界模型设计，论文还在开放域视频到音频基准上进行了评估。结果显示，WorldSonus 在声学质量和空间对齐方面可以匹配或超过部分先进的双向模型。

意义与影响

WorldSonus 的价值在于把“视频配音”重新定义为一个持续、可干预、具有空间属性的生成过程。流式架构降低了声音加入实时世界模型的门槛；分块提示机制则为游戏、虚拟训练和交互式叙事提供了更直接的控制接口。立体声监督也提示，未来的多模态世界模型不能只追求画面逼真，还需要同时维护视觉、听觉与空间状态之间的一致性。

不过，素材尚未披露完整的延迟、算力需求、数据规模及不同声音事件上的细分结果。因此，WorldSonus 更适合被理解为一套面向实时空间音频的技术路线，而不是已经解决所有场景问题的通用方案。其后续落地效果仍取决于长时间生成稳定性、复杂声源分离以及用户指令与音频变化之间的精确对应。

来源：Hugging Face Daily Papers