Velox：用空间记忆加速长时世界模型生成

导语

视频世界模型正在成为交互式模拟的一种重要接口：模型根据动作和相机运动，持续生成后续视觉内容。问题在于，生成越长，模型就越需要回看此前的画面，以维持场景、物体和空间关系的一致性。传统分块式视频扩散模型通常把历史信息保存在不断增长的 KV 缓存中，后续视频块需要处理的上下文越来越多，响应速度因而逐步下降。

论文《Velox: Spatial Memory Makes World Models Efficient》关注的正是这一瓶颈。它提出一个无需训练的注意力路由器，尝试在不改变模型参数的情况下，让每个当前区域只访问更有用的历史记忆。

核心方法

• 把历史记忆表示为空间结构：Velox 不只是按照时间顺序保存历史块，而是将它们表示为带有深度区间的相机视锥体切片。这样，历史内容可以通过几何位置与当前画面建立联系。
• 利用多次变形估计当前深度：系统采用具有新近性优先级的 multiwarp，为当前视频块估计深度，并寻找它与历史视锥体切片之间的覆盖关系。
• 按区域调整注意力路由：对于几何覆盖较充分的区域，视锥体切片的重叠程度会柔性地调节模型原本计算出的块重要性；对没有可靠几何覆盖的区域，则继续使用模型自身的路由结果，避免强行施加空间偏置。
• 适配高效硬件执行：路由使用固定的 token 块粒度，与 FlashAttention 一类的分块执行方式相匹配，从而减少随 rollout 长度增长的注意力计算项。视锥体切片的构建还可以和去噪过程异步运行，并在同一块 H200 上完成。

实验结果与解读

摘要给出的结果显示，在第 48 个视频块处，Velox 将注意力部分加速 4.36 倍，整体去噪速度提升 2.43 倍。在包含 158 个案例的 WBench 导航划分上，其 API-free 平均分与密集注意力版本 LingBot-Fast-Cam 的差距保持在 0.15 分以内。就论文提供的信息而言，这说明减少历史上下文访问并没有明显牺牲导航场景中的表现。

Velox 的关键价值不在于压缩或重新训练记忆，而在于改变“如何读取记忆”。对于相机持续移动的世界模型，空间对应关系往往比单纯的时间邻近更能说明哪些历史内容仍然相关。以区域和几何覆盖为依据进行路由，也比对整段历史缓存做密集注意力更适合长时生成。

意义与局限

这一思路为世界模型的实时化提供了一个相对容易接入现有系统的方向：无需重新训练，就可以在注意力层前增加空间感知的选择机制。不过，方法依赖流式几何、深度估计和视锥体对应关系；当场景几何不稳定、遮挡严重或深度信息不足时，路由收益可能受到影响。论文摘要也只披露了导航评测和特定硬件上的加速结果，尚不能据此推断其在所有视频生成任务或硬件环境中的表现。

总体来看，Velox 把世界模型的长上下文问题转化为空间记忆访问问题：不是让模型记住更多，而是帮助它更快找到当前区域真正需要的历史信息。

来源：Hugging Face Daily Papers