返回文章列表

AURA:让音频驱动虚拟人视频进入流式生成

阅读约 3 分钟

音频驱动的虚拟人视频,难点不只是让嘴型跟上语音,还要在用户说话时尽快生成画面。许多视频扩散模型需要先看到数秒音频,再经过多轮去噪生成一段视频;这种做法有利于利用前后文,却不适合语音助手或交互式虚拟人等要求低延迟的场景。AURA(AUdio-dRiven streaming Avatar)把目标转向在线生成:音频逐段到来,视频也逐块生成。

核心要点

  • 按块、因果地生成。 AURA使用滚动KV缓存,并采用因果注意力机制。生成当前视频块时,模型只需当前块的音频,不必像双向模型那样等待多秒音频作为预览。对实时应用来说,这有望缩短从语音输入到画面响应之间的等待时间。
  • 提供两个规模。 论文报告,AURA 1.3B在单张GPU上以20.7 fps生成576p视频,对应16 Hz播放设置;AURA 5B以9.7 fps生成720p视频。前者更强调实时交互,后者则在更高分辨率与生成速度之间作取舍。这里的速度数据是论文给出的实验结果,并不意味着所有硬件和部署环境都能达到相同表现。
  • 通过两阶段蒸馏压缩生成过程。 第一阶段让因果学生模型以更少的扩散步数学习教师模型的生成轨迹,并使用分块滑动窗口因果注意力;第二阶段采用带反向模拟的分布匹配蒸馏(DMD),进一步弥合质量差距。这一训练设计针对的是流式模型既要快、又要尽量保持生成质量的矛盾。
  • 报告了基准对比并开放资源。 在标准说话人头部视频基准上,1.3B版本相较自身的双向教师快23倍,在较低分辨率下达到与TalkVerse相近的质量;5B版本在720p下匹配其TalkVerse教师,速度快17倍。团队同时发布两个模型的权重和3万段合成视频数据,供复现与后续研究使用。

流式生成的意义与边界

AURA的价值在于把视频生成的组织方式从“攒够一段输入后再生成”,推进到“输入到哪、画面生成到哪”。滚动缓存让模型能够利用已有上下文,而因果约束避免依赖未来音频;两者结合,为虚拟客服、语音助手和数字人直播等场景提供了更贴近实时交互的技术路线。

不过,论文摘要提供的主要是生成速度、分辨率和基准比较,尚不足以说明所有真实应用中的端到端延迟、长时间运行稳定性或不同说话人、光照和动作条件下的表现。20.7 fps也高于其16 Hz播放设置,不能单独等同于完整系统的响应延迟。开放权重和合成数据有助于外部验证,但实际部署仍需结合目标硬件和应用流程评估。

Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
扩散语言模型如何在测试时“多想一步”:频率感知重掩码带来更强推理探索
扩散模型
cctest.ai
扩散模型

扩散语言模型如何在测试时“多想一步”:频率感知重掩码带来更强推理探索

一项新研究提出频率感知重掩码策略,让扩散语言模型不再只依赖单步置信度决定哪些词元应被确定。通过把额外计算集中到困难样本,并追踪词元在去噪过程中的预测变化,方法提升了数学与代码任务上的测试时扩展效果。

阅读全文