PPMem：用平面记忆让视频世界模型保持长期空间一致性

导语

视频世界模型要真正用于环境探索，不能只记住上一段画面，还需要持续维护一个关于场景空间结构的内部记忆。否则，当镜头移动到此前未充分观察的位置，模型可能出现建筑布局漂移、物体位置不一致或深度关系失真的现象。Robbyant Research 提出的 PPMem，尝试用一种更紧凑、也更具几何含义的表示解决这一问题：把场景中的主要结构建模为可持续更新的平面。

核心方法

PPMem 以视频扩散 Transformer 为基础，增加了两个关键组件：平面预测头与 Depth Token Fusion（DTF）模块。模型在自回归生成视频时，不再只输出 RGB 帧，而是让每个视频片段同步预测对应的平面几何。随后，这些新平面会与已有内容合并，形成持续更新的平面记忆。

• 用平面表达场景骨架：墙、地面、天花板、建筑立面等结构通常具有明显的平面特征。每个平面原语使用 7 个参数描述，在表达主导几何关系时，比保存大量逐像素三维点更节省空间。
• 通过深度连接记忆与生成：合并后的平面记忆可以被渲染为深度，并经 DTF 注入后续生成过程。这样，后续视频片段能够参考已经建立的空间布局，而不是完全依赖短期视觉上下文。
• 边生成边修正：平面记忆并非一次性固定。随着新的视角和帧被生成，合并过程会对已有几何进行补充或细化，使记忆适应不断扩展的场景观察。
• 同时输出多种几何信息：由于 RGB 与平面几何由共享骨干联合预测，系统还能够产生度量尺度深度、表面法线以及可导出的平面表面。

论文给出的描述显示，一整个场景的记忆规模约为 10 万个平面原语、约 5MB，并宣称相较逐像素点云可实现三个数量级的压缩。这里的重点并不只是存储量下降，而是记忆从“像素集合”变成了具有方向、位置和结构含义的显式几何。

实验与意义

在 DL3DV 和 RealEstate10K 上，PPMem 被用于评估视频质量、几何预测以及长时序一致性。论文称，该方法在视频质量上超过此前的 3D 约束世界模型，并能在大幅视角变化下维持数百帧的场景连贯性，同时输出深度、法线和平面几何。

这项工作的价值在于，它把世界模型的“记忆”从辅助信号提升为可解释的场景状态。对于虚拟导航、具身智能和可交互环境生成而言，持久化平面记忆有望降低长期生成中的空间漂移，并让生成结果更容易被导出到后续的渲染或三维处理流程。不过，平面表示天然更擅长描述结构性表面；复杂曲面、细小物体以及动态内容是否需要其他记忆形式补充，仍是这一路线继续落地时需要关注的问题。

来源：Hugging Face Daily Papers