让视频生成模型学会“向前看”：FCP强化场景演化建模

导语

自回归视频扩散模型通常以片段为单位生成内容：模型先处理已有视频，再预测下一个时间块，并不断循环。这种方式能够带来较长的视频续写能力，但“画面接得上”并不等于“真正理解了场景如何发展”。腾讯ARC团队的论文《Looking Ahead: Modeling Future Evolution in Autoregressive Video Generation》关注的正是这一问题：如何让模型从局部连续性中走出来，学习更具时间跨度的视觉演化规律。

问题：连续画面可能成为训练捷径

在教师强制训练中，模型生成当前片段时可以获得真实的历史上下文。由于相邻视频帧往往高度相似，模型可能主要利用颜色、纹理和局部运动的延续来完成当前片段去噪，而不必建立对物体运动、状态变化或事件走向的明确判断。

这会造成一个隐患：模型在短距离预测上看起来连贯，却未必能正确处理更长时间尺度上的变化。比如，一个物体应该继续移动、停止、碰撞或改变状态时，模型可能只是在视觉上复制前一时刻的线索，最终产生不符合物理直觉的结果。

方法：Future Chunk Prediction

论文提出Future Chunk Prediction（FCP）作为辅助训练目标。训练时，模型不仅要在教师强制条件下完成当前片段的去噪，还要尝试预测时间上更靠后的目标片段；与此同时，中间的视觉上下文不会直接提供给模型。这样一来，模型不能只依赖紧邻帧的表面相似性，而需要从已有信息中推断场景接下来可能发生的变化。

FCP的几个特点包括：

• 直接利用视频数据监督：不需要额外引入预训练视觉编码器。
• 与原有目标联合优化：辅助目标和教师强制去噪共同训练，而不是替换原有训练流程。
• 不改变自回归推理：推理阶段无需额外的预测步骤或特殊模块。
• 强调时间跨度：通过跳过中间视觉内容，迫使模型关注潜在的动态规律。

实验结果与限制

根据项目材料，FCP在Physics-IQ评测中改善了视频生成的物理合理性：I2V任务提升11.2%，V2V任务提升9.4%。项目方还报告称，在相应对比中，训练计算量减少57.9%，使用的数据量减少63.4%。这些结果表明，面向未来片段的监督不只是增加训练任务，也可能让训练过程更有效率。

论文可视化还显示，FCP可能促使模型形成更有结构的表示空间。不过，这一观察仍主要属于分析性结果，不能直接等同于模型已经具备完整的世界模型能力。项目方同时指出，当前训练数据仍以通用场景为主，对多样物理现象的覆盖有限，因此在专业物理场景上的表现仍有提升空间。

意义与影响

FCP的价值在于重新定义了自回归视频训练中的“连续性”：好的续写不应只是紧贴上一帧，还应符合场景的时间逻辑。通过把未来片段预测加入训练目标，模型获得了更明确的动力学学习压力，同时不增加推理阶段的复杂度。

这一路线也为视频生成向自回归世界模型演进提供了一个相对轻量的思路。未来若结合更丰富的物理数据、更长时间跨度的预测以及更严格的动态评测，类似的未来监督或许能够帮助模型从“生成看起来合理的画面”，进一步走向“预测世界将如何变化”。

来源：Hugging Face Daily Papers