返回文章列表
视觉与视频

Wave Forcing:让长视频生成从串行等待走向连续流式输出

阅读约 3 分钟

实时生成长视频,难点并不只是让模型更快地产生单帧,而是要在持续输出的同时保持人物、场景和运动的一致性。现有的分块自回归方案通常需要依次完成每个视频块的去噪,再刷新历史缓存。即使采用一步去噪,也常常要进行两次模型前向计算;随着生成时间拉长,画面还可能出现质量下降、镜头漂移等问题。

Wave Forcing(WF)尝试从生成机制、训练方法和系统执行三个层面同时解决这些瓶颈。它的核心是“波前调度”:后续视频块不必等待前一个块完全处理完,而是可以提前开始去噪,并读取前面更干净的中间状态。通过分块因果注意力,模型能够在保持时间方向约束的同时,利用尚未完全结束的前序计算结果。

在执行层面,WF 将交错进行的去噪和缓存刷新分布到多个完整模型副本上。流水线填充后,每一轮并发前向计算都能产出一个视频块,即论文所称的 1F1C(one forward, one chunk)模式。配套的 Wave Runtime 进一步引入 Wave Parallelism:键值缓存可以提前传输,通信也能与计算重叠;优化后的算子和流水化 VAE 解码则减少了后处理等待。

为了让模型适应这种连续生成流程,研究团队采用了三阶段训练策略。第一阶段引入混合噪声去噪,使模型能够处理不同清晰度的历史上下文;第二阶段加入运动监督,改善连续帧之间的动态表现;第三阶段使用模型自行生成的历史内容进行因果适配,缩小训练过程与实际滚动生成之间的差异。

在 Wan2.1-T2V-1.3B 上,5 步 WF 的整体质量与 Rolling Forcing 相近,但动态程度在短视频和长视频上更高。100 秒视频测试中,Dynamic Degree 从 36.63 提升至 91.45,Subject Preservation 从 92.75 提升至 97.10。系统测试显示,4 步版本在 8 张 H200 上达到 147.6 DiT FPS 和 134.8 端到端 FPS,相当于单 GPU 端到端吞吐的 7.07 倍;在统一后端、步数和 GPU 数量的 DiT 测试中,Wave Parallelism 最高达到更快的 Ulysses 或 Ring 基线的 2.53 倍吞吐。

这项工作的意义在于,它没有把实时视频生成简单归结为压缩模型或减少采样步数,而是重新安排了“生成什么、何时生成以及如何传输上下文”。不过,现有结果主要基于 Wan2.1-T2V-1.3B 和特定硬件环境,实际收益仍会受到模型规模、视频分辨率、并发配置及解码开销影响。总体而言,Wave Forcing 为长时视频流式生成提供了一条从算法到系统协同优化的路径。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
AV-FABLE:让长视频音画篡改定位从“整段判断”走向双时间线取证
视觉与视频
cctest.ai
视觉与视频

AV-FABLE:让长视频音画篡改定位从“整段判断”走向双时间线取证

针对长视频中短暂、稀疏的音频或视觉篡改,AV-FABLE构建了带有独立音频与视觉时间线的评测基准。研究还提出NFSR,证明冻结的多模态模型特征中蕴含取证信号,但需要专门的时序读取器才能有效利用。

阅读全文