PixVid：把视频扩散模型从潜空间带回像素空间

导语

当前主流视频生成模型通常不会直接处理原始像素，而是先用 VAE 同时压缩视频的空间和时间维度，再在潜空间中进行扩散建模。这样做显著降低了训练和推理成本，但也把一些能力限制在压缩表示中：分辨率提高会迅速推高 token 数量，控制信号往往作用于一组帧而不是单独帧，交互式生成还要等待一个多帧区块完成。

Roblox 研究团队提出的 PixVid，尝试把一套已经训练好的潜空间视频模型“提升”到像素空间。论文的核心并不是重新设计整个视频生成器，而是尽量保留原有扩散 Transformer，只替换视频解码路径。

核心方法

• 保留扩散 Transformer：PixVid 从 Wan2.1-14B 微调而来，继续使用原模型承担时空建模和扩散去噪任务。
• 替换 VAE 解码器：模型加入卷积输出头，将 Transformer 的结果直接渲染成像素帧，避免生成后再依赖 VAE 解码。
• 改用干净视频预测：研究发现，相比预测扩散过程中的速度，直接预测干净视频对像素空间训练更有利。
• 采用更大的噪声偏移：噪声调度的变化与干净视频预测结合，被认为是获得较好画质的关键设计。
• 按帧处理像素：由于工作粒度更接近单帧，PixVid 能在相同的单帧 token 数下生成约两倍分辨率的视频，并让模型更快响应新的动作条件。

实验信息与意义

在约 130 万个训练视频片段的规模内，基于 Wan2.1-14B 微调的 PixVid 与潜空间基线表现具有竞争力。素材还指出，在深度条件视频编辑中，PixVid 在快速运动场景下仍能保持较好的对齐；在交互式场景中，它可以在下一帧响应动作，而不必等待完整多帧区块生成完毕。

这项工作的价值在于，它重新审视了视频生成中的一个默认前提：压缩到潜空间并非唯一可行路径。随着高分辨率生成、实时控制和视频编辑需求增长，像素空间能够提供更细的时间控制和更直接的条件响应。PixVid 通过复用既有的大型扩散骨干，降低了从潜空间迁移的改造幅度，也为后续研究提供了一条相对务实的路线。

不过，现有素材主要给出了方法概述和总体结论，没有提供完整的速度、显存、画质指标或与更多模型的系统对比。因此，PixVid 是否能在不同分辨率、时长和硬件条件下稳定扩大优势，仍需结合论文全文及后续复现实验判断。

来源：Hugging Face Daily Papers