JoyAI-Echo-1.5：让音视频生成从短片走向持久故事与交互世界

导语

视频生成正在从“生成一个看起来不错的短片”，转向持续讲故事、响应用户操作并维持世界状态。真正的长期生成并不只是把多个片段拼在一起：角色要在不同镜头中保持同一张脸和同一种声音，镜头要能按照控制信号移动，模型还要在长时间 rollout 中避免画面与语义逐渐漂移。JoyAI-Echo-1.5正是针对这些问题提出的一套统一音视频生成系统。

两条技术路线

论文提供了两个面向不同场景的变体：

• 长视频变体：引入可组合的跨镜头记忆机制。系统会汇总多个先前镜头中的视觉证据，而不是只依赖最近一帧或单个参考图像，由此帮助角色在服饰、脸部特征和整体外观上保持连续。与此同时，它从经过语音筛选的整段镜头音频中提取说话人线索，用于延续角色的声音身份。
• 世界模型变体：将不同形式的导航输入统一转换为经过校准的、带有尺度信息的6-DoF相机轨迹，再通过几何感知的条件路径注入生成过程。这种设计的目标，是让系统不被特定控制器绑定，并支持更灵活的观察角度和交互方式。

两种变体都可以与文本、图像和记忆条件组合，体现出系统对多模态输入的统一处理思路。这里的“记忆”并非简单保存一张参考图，而是把跨时间的视觉和声音信息组织成可复用的条件。

为何强调因果生成

长时生成的难点还在于效率和误差累积。论文将一个双向音视频骨干转化为因果式少步生成器，并采用渐进式教师强制训练模型逐步适应历史上下文的变化。在此基础上，短视野和长视野的Self-Gradient Forcing会让模型在自身生成的 rollout 上继续学习，减少训练阶段依赖真实历史、部署阶段却必须依赖模型输出所造成的分布落差。

实验与影响

根据论文摘要，长视频变体在跨镜头一致性、视觉质量、文本对齐和语音保真度方面超过现有长视频基线；世界模型变体在WBench上取得81.7的平均分，并在SANA-WM-Bench上展现出领先的视觉质量和长期持久性。由于素材没有提供完整实验设置和对比表，具体优势仍需结合论文全文判断。

这项工作的意义在于，它把长视频和世界模型中常被分开处理的三类问题放到同一框架下：记住“谁在场”、理解“用户要怎么移动镜头”，以及在更长时间内保持生成稳定。若这类方法继续成熟，未来的生成内容可能不再是一次性输出的片段，而是能够持续推进的故事空间或可探索的视觉环境。不过，长期一致性、复杂交互下的几何准确性，以及模型在更长 rollout 中的失稳边界，仍是落地前需要持续验证的问题。

来源：Hugging Face Daily Papers