StreamEval：实时交互式视频生成，难点不只是画质

导语

视频生成正在从“一次性生成一段片段”走向持续运行、随时响应用户操作的交互式系统。用户可能在视频播放过程中改变角色动作、修改场景，或要求保留某个视觉元素。对这类系统而言，画面是否逼真只是基础，更重要的是能否在正确的时间理解请求、完成状态切换，并避免破坏此前已经生成的内容。

StreamEval 试图把这些要求纳入同一套评测框架。该基准面向交互式流式视频生成，测试模型在连续视频流中处理逐步到来的多模态请求的能力。

核心要点

• 覆盖五类交互任务。 测试包括数字人对话、数字人表演、世界生成、指令编辑和参考编辑，涵盖从角色行为到环境与画面修改的不同场景。
• 强调时间和状态。 基准由 300 个脚本化案例组成，每个案例持续 15 至 300 秒，并明确给出初始素材、请求到达的时间以及需要发生的状态变化和必须保留的内容。
• 不只看画质。 评测从任务执行、状态一致性、视觉保真度、视听协调四个维度展开，进一步对应十项任务相关指标，分数范围为 0 至 100。
• 指令执行仍然薄弱。 在 7 个数字人表演模型中，Following 指标最高为 36.90；文本条件世界生成中的 Following 最高为 25.93；3 个被报告的参考编辑模型中，Edit Success 最高为 15.00。这些结果反映出，模型“看起来不错”与“按要求完成”之间仍有明显距离。

评测揭示了什么

StreamEval 的价值在于，它把流式生成中的隐性要求显式化了。传统视频生成评测往往更关注单个片段的清晰度、运动质量或身份保持，但交互系统还必须处理连续上下文：用户的新指令何时到达？它是否覆盖旧状态？哪些角色特征、物体或场景元素必须保持不变？如果模型只在单帧或短片段上表现良好，却无法在几十秒的过程中持续遵循约束，实际使用体验仍会不稳定。

对开发者来说，这意味着优化目标不能只围绕分辨率、外观一致性或生成速度展开，还需要建立更细的状态表示、请求调度和记忆机制，并让编辑操作具备可验证的成功标准。对用户而言，未来的实时视频模型是否实用，关键也许不是“能不能生成漂亮画面”，而是“能不能在不中断内容连续性的前提下，准确响应下一条指令”。

StreamEval 目前评估了 37 个不同模型，结果为后续比较提供了统一入口。随着交互式视频系统不断融入数字人、游戏世界和创意工具，任务执行与状态一致性很可能成为衡量其产品成熟度的核心指标。

来源：Hugging Face Daily Papers