VideoRAE：用视频基础模型重塑生成式视频的潜空间

导语

视频生成模型的进步，往往不只取决于生成器本身，也取决于它所依赖的“潜空间”。过去，许多视频生成系统使用 3D-VAE 将视频压缩到低维潜变量中，再交给扩散模型或自回归模型学习。然而，传统 3D-VAE 通常围绕像素级重建优化：画面能还原，并不代表潜变量真正捕捉了视频中的动作、语义关系和时空结构。

arXiv 新论文 VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders 关注的正是这一层基础设施问题：能否把视频基础模型（Video Foundation Models, VFMs）已经学到的强表征，改造成紧凑、可重建、且对生成模型友好的视频潜空间？

核心要点

• 从“像素压缩”转向“表征压缩”：VideoRAE 不从零训练一个只追求像素还原的 3D-VAE，而是利用冻结的视频基础模型编码器，例如 V-JEPA 2、VideoMAEv2 这类已经具备视频理解能力的模型。
• 使用多尺度层级特征：论文强调从冻结 VFM 中提取多尺度、层级化的视频特征，以保留更丰富的语义与时空信息。
• 轻量 1D 自注意力投影器：这些特征会被一个轻量级 1D self-attention projector 压缩，形成可供生成模型使用的潜表示。
• 兼容两类生成范式：VideoRAE 支持连续潜变量，可用于 Diffusion Transformer；也支持通过多码本高维量化形成离散 token，服务自回归视频生成模型。
• 解码阶段引入表征对齐：其训练目标包含与冻结 VFM 教师模型的局部和全局表征对齐，用于提升语义保持能力，并使训练不依赖 KL 正则化。

实验结果与意义

根据论文摘要，VideoRAE 在连续和离散两种设置下都取得了较强的视频重建效果。在 UCF-101 类别到视频生成任务中，它与自回归生成器结合时获得 gFVD 40，与 DiT 生成器结合时获得 gFVD 93，并且相比竞争性自编码器基线约快 5 倍收敛。论文还提到，在一个受控的 2B 规模文本到视频实验中，用 VideoRAE 替换 LTX-VAE 后，在可比设置下带来了更快收敛。

这项工作的意义在于，它把视频基础模型从“理解模型”进一步推向“生成模型底座”。如果冻结 VFM 的表征确实能被稳定压缩、重建并用于生成，那么视频生成系统的瓶颈可能会从单纯追求更强 VAE，转向如何更好复用大规模视频理解模型中已经形成的语义结构。

当然，当前信息主要来自论文摘要，模型和代码尚待发布。VideoRAE 是否能在更复杂开放域视频、长视频生成以及大规模文本到视频任务中持续展现优势，还需要后续复现和更多实验验证。

来源：arXiv