Vidu S2：从实时数字人到可编辑空间视频

导语

传统视频生成通常以“输入提示词—等待生成—获得成片”为主要流程，用户很难在生成过程中持续干预。Vidu S2 试图改变这一交互方式：它把数字人生成和视频编辑都设计成实时处理任务，使模型不再只是一次性产出视频，而是能够随着指令、参考图和现场画面的变化持续调整结果。

两个核心模型

Vidu S2 由两个部分组成：

• Vidu S2-Avatar：面向实时交互数字角色。根据论文摘要和项目介绍，该模型支持实时生成 720p 视频，帧率范围为 25–42 FPS，并能理解更复杂的动作指令，例如跳舞。用户还可以在交互过程中随时加入新的参考图，用于改变角色服装、引入物体或切换场景。
• Vidu S2-Editing：面向实时视频流编辑。它能够在保留原始动作节奏和时间结构的同时，对输入视频进行风格渲染、虚拟试衣、角色替换和背景替换。

这一区分体现了两种不同的产品需求。Avatar 需要保持角色的连续性、动作表现和指令跟随能力；Editing 则更强调对已有视频运动信息的保留，以及视觉内容替换后的时序稳定性。

从“生成视频”到“持续操控视频”

Vidu S2 的关键变化在于动态参考内容可以在生成过程中更新。对于数字人应用而言，这意味着用户不必重新开始一次完整生成，就能改变角色外观或交互环境。对于直播、虚拟主持、在线展演等场景，这种机制有望减少传统工作流中反复剪辑和重新渲染的步骤。

实时编辑同样拓宽了视频模型的使用方式。风格迁移、服装替换和背景替换不再局限于静态素材或离线视频，而是可以作用于正在输入的画面。若模型能够稳定处理复杂运动，这类能力可用于虚拟试衣、沉浸式娱乐、实时内容制作和数字人直播等场景。不过，素材只说明了模型支持这些任务，并未提供具体延迟、硬件配置或商业可用性数据，因此不宜将其直接等同于所有生产环境中的成熟方案。

空间视频探索

除二维实时视频外，研究还探索了 Avatar 和 Editing 生成立体空间视频的可行性。空间视频通常需要同时处理左右眼视图、深度关系和运动一致性，因此比普通视频生成更强调几何稳定性。Vidu S2 的这一方向，指向了 VR 角色、沉浸式直播和可交互虚拟场景等应用，但目前公开材料主要描述了研究探索，并未披露完整的体验指标或适配设备范围。

如何看待结果

项目方表示，Vidu S2 在涵盖数字人生成和视频编辑的五个公开基准测试中取得了优于基线的方法表现。这个结果说明其系统试图同时覆盖生成质量、编辑能力和实时交互，而不是只针对单一离线指标优化。但由于当前材料没有列出各基准的名称、实验设置和详细分数，读者仍需结合技术报告进一步判断优势来源。

总体而言，Vidu S2 的价值在于把视频模型从一次性生成器推进到连续操控工具：用户可以对角色、动作、服装、背景和视觉风格进行更即时的调整。它能否在复杂场景中维持一致性、低延迟和可控成本，将决定这些能力能否真正进入创作和交互产品。

在线演示：Vidu Stream

来源：Hugging Face Daily Papers