Kaleido：面向视频扩散 Transformer 的算法与硬件协同加速

导语

视频扩散 Transformer（vDiT）正在成为高质量视频生成的重要技术路线，但它的代价同样明显：长时间步扩散过程叠加自注意力计算，使推理开销迅速放大。随着业界不断尝试减少扩散步数，原本分散在多轮去噪中的成本被压缩，自注意力逐渐成为更突出的瓶颈。arXiv 论文《Kaleido》尝试从视频数据自身的结构出发，重新设计加速路径。

核心要点

• 问题定位更贴近视频生成：论文指出，许多现有加速方法沿用了大语言模型中的稀疏注意力思路，但视频潜空间具有更强的时空相关性，直接套用文本模型经验并不充分。
• 利用潜空间通道级相关性：Kaleido 观察到 vDiT 的潜空间中存在通道维度上的时空相似性，因此提出轻量级的 channel-wise reuse 机制，通过复用部分计算结果跳过冗余操作。
• 不只加速注意力：摘要强调 Kaleido 面向 vDiT 中“所有操作”的加速，而不是只优化单一算子。这意味着其目标是覆盖更完整的推理流水线。
• 算法与硬件协同设计：为了让复用算法真正落地，作者设计了类脉动阵列加速器，配合可重构处理单元和轻量数据分发器，用来缓解复用带来的不规则稀疏性与数据访问问题。
• 实验结果：在三个主流 vDiT 模型上的评估中，Kaleido 相比已有先进加速器最高取得 5.9 倍速度提升和 16.0 倍能耗节省；论文还称其在生成质量上较既有方法保持了超过 17 dB 的优势。

意义与影响

Kaleido 的价值不只在于给出一个新的硬件加速器，更在于提醒研究者：视频生成的计算优化不能简单照搬 LLM 经验。视频潜空间里的时空冗余、通道相关性和访问模式，可能为专用推理架构提供新的抓手。

如果这类方法在更大规模模型和真实部署环境中继续成立，它将有助于降低视频生成服务的单位成本，尤其适用于对吞吐、能耗和延迟都敏感的场景。不过，论文目前来自 arXiv，结论仍需结合完整论文细节、实现开源情况以及更多硬件平台复现实验来判断。总体来看，Kaleido 代表了视频生成加速从“通用稀疏化”走向“视频结构感知协同设计”的一个值得关注的方向。

来源：arXiv