L3G-World：用潜在3D高斯记忆实现实时无限世界生成

导语

交互式世界模型需要根据用户动作不断生成画面，但探索时间一长，系统往往会在两个方面遇到瓶颈：一是仅依赖视频上下文难以维持远距离的空间一致性，二是显式3D记忆会随着生成帧数持续膨胀。更麻烦的是，许多方案需要先把3D记忆渲染成RGB图像，再重新编码到视频模型的潜在空间，这一步会显著拖慢实时生成。

KAIST团队提出的L3G-World，试图从记忆表示和数据通路两端解决这一问题。论文的核心是Latent 3D Gaussian Memory，即“潜在3D高斯记忆”。它不仅保存场景中的空间结构，还为每个高斯基元附加VAE潜在特征，使记忆可以直接提供给视频扩散Transformer（DiT）。

核心要点

• 记忆随场景范围增长：记忆更新器会在新观察区域生成高斯，并对已有高斯进行细化。这样，记忆的增长主要取决于探索到的场景范围，而不是生成流持续了多久。
• 直接在潜在空间渲染：传统3D记忆通常需要经过RGB渲染和VAE重新编码；L3G为高斯存储潜在特征，能够直接渲染到DiT使用的潜在空间，减少中间步骤。
• 更新器与DiT交替工作：系统以自回归方式交替执行记忆更新和视频生成，让新视角既能延续已有空间信息，也能扩展到尚未观察的区域。
• 面向实时交互：实验显示，L3G-World最高可实现9 FPS。相较于各项指标中最有效率的既有3D记忆基线，论文报告其3D基元数量最多减少38.6倍，记忆更新速度提升3.2倍，记忆渲染速度提升359倍。

意义与影响

L3G-World的重要性不只在于更快，而在于它把“可长期保存的空间记忆”和“视频生成模型的潜在表示”放进了同一条计算路径。对于需要持续移动、回看已探索区域或在大范围场景中交互的世界模型，这种设计有望缓解记忆膨胀与重复编码带来的成本。

当然，论文摘要主要展示了效率和空间一致性方面的结果，并未在现有素材中说明系统对不同场景类型、硬件配置或更复杂交互的适应范围。因此，9 FPS应理解为论文实验条件下的结果，而不是所有部署环境中的通用性能。总体来看，L3G-World为实时世界模型提供了一条清晰路线：让3D记忆变得更紧凑，同时让它直接服务于生成模型的潜在空间。

来源：Hugging Face Daily Papers