CORAL-KV：利用跨层预测压缩视频扩散模型的KV缓存

导语

长视频生成的瓶颈不只在模型参数，也在不断膨胀的注意力键值（KV）缓存。自回归视频扩散模型需要保留历史帧的信息，随着生成过程延长，缓存会持续占用显存；如果直接压缩，又可能让重建误差在后续帧的注意力计算中逐步累积，最终表现为画质下降或时间上的不连续。

arXiv 论文提出的 CORAL-KV，尝试从“缓存层之间存在关联”这一点切入，改进视频KV缓存的压缩方式。

核心方法

传统的聚类量化方法主要在同一层内寻找相似的键和值向量，将向量分组后编码残差。CORAL-KV则进一步观察到，不同缓存层之间也存在较强依赖：前一层的缓存状态可以用来预测后续层的键和值。预测完成后，系统只需量化预测误差，而不必完整编码原始向量。

其预测器采用紧凑的 block-DPLR 结构，包含两部分：

• 块对角部分：描述每个注意力头内部的通道关系，控制模型规模与计算开销；
• 全局低秩部分：捕捉不同注意力头之间的整体依赖，补充单个头内建模的不足。

这种设计还提供了可调节的精度—内存权衡。一个配置可以在不同视频之间复用已经得到的预测器，减少额外适配成本；另一个配置则针对当前视频重新拟合轻量级块对角预测器，以换取更高的重建保真度。

实验结果

论文在 HY-WorldPlay 和 MAGI-1 上进行了评估。可复用配置相较 QVG-4，在两个数据集上的PSNR分别提升0.32 dB和4.95 dB，同时缓存内存占用分别减少48%和37%。针对视频适配的配置在 MAGI-1 上相较 QVG-Pro 将PSNR提高3.77 dB，并减少33.7%的缓存占用。

作者还报告称，CORAL-KV在延长生成过程中能够维持更高的重建质量，减轻时间 discontinuity，且生成延迟与对比方法大致相当。需要注意的是，这些结果来自论文所述实验设置，实际收益仍可能受到模型结构、量化配置和视频长度影响。

意义与影响

CORAL-KV的价值在于，它把KV缓存压缩从“单层内减少冗余”推进到“利用模型内部的跨层结构”。如果视频模型的层间相关性能够被稳定复用，缓存系统就有机会在较低内存预算下支持更长的生成上下文。

对于长视频扩散模型而言，这类方法可能降低显存压力，并缓解压缩误差随时间传播的问题。不过，跨视频复用预测器与按视频适配之间如何选择，以及预测器拟合、残差量化在不同硬件上的实际开销，仍是部署时需要进一步评估的因素。

来源：arXiv