DreamX-Creator：让原生音视频生成走向2K与开源

导语

多数视频生成系统仍把音频排除在生成过程之外，或在视频完成后通过独立模块补上声音。这种串联方式虽然便于工程实现，却难以让画面变化与声学事件相互约束。DreamX-Creator 1.0选择了另一条路径：以一个紧凑的7B生成器为核心，从首帧和文本提示出发，同时生成视频与音频，并将同步性作为模型设计的一部分。

核心要点

• 原生联合生成。 DreamX-Creator为音频和视频设置各自的专业化流，在同一去噪过程中推进两种模态，而不是把音频当作后处理结果。
• 分阶段的信息交互。 网络前半段让两种流相对独立地提取模态特征，后半段通过Gated Cross-Modal Attention建立联系。该机制可在令牌和注意力头层面调节跨模态输出，减少无效或过强的信息干扰。
• 数据与训练协同。 项目提出统一的音视频数据系统，用于构建、筛选时间一致的片段，生成结构化多模态标注，并按能力组织数据池。训练流程则从两阶段音视频预训练开始，再进入高质量微调。
• 反馈不再单一。 音视频强化学习使用模态感知的多模态反馈，把视频、音频以及跨模态评价分别路由到对应生成流，目标是让不同类型的误差得到更有针对性的优化。
• 面向2K的精炼。 为解决高分辨率生成成本问题，作者将双向多步教师模型改造成自回归多步精炼器，再蒸馏出每个时间块只需一次去噪评估的学生模型，形成Autoregressive 1-Step 2K Refinement流程。

意义与影响

DreamX-Creator的价值不只在于输出更高分辨率的视频，更在于它把音画关系放回生成模型内部。对于爆炸、乐器演奏、机械运动或人物动作等场景，视觉事件和声音往往具有明确的时间对应关系；联合去噪为这种对应关系提供了直接的建模接口。需要注意的是，现有素材只说明其性能与先进开源系统具有竞争力，并未提供具体基准、样本规模或统一评测分数，因此不宜据此断言全面领先。

从系统工程角度看，7B生成器、公开的2K精炼器以及配套训练方案，可能降低研究者尝试统一音视频生成的门槛。它也为后续工作留下了清晰的扩展方向：如何改善长时序一致性，如何设计更可靠的跨模态评价，以及如何在消费级硬件上进一步压缩推理成本。项目的开放性意义，或许与单次生成质量同样重要。

来源：Hugging Face Daily Papers