RAR：让交互式世界模型按需改变生成速度

导语

交互式世界模型的目标，是根据用户动作或相机控制，持续生成一个能够实时响应的视觉环境。但“实时”并不只取决于模型能生成多少帧，还取决于生成帧对应的物理时间是否稳定。现有系统往往在固定时间速率下训练和推演：一旦运行设备的吞吐速度发生变化，模型中的世界就可能意外地变快或变慢。

香港科技大学长期研究团队提出的 Rate-Adaptive Rollout（RAR），正是针对这一问题设计的框架。论文将训练时间速率与运行时间速率之间的绑定称为“时间速率耦合”，并尝试让世界模型在不同生成速率下保持一致的物理进程。

核心要点

• 用物理时间对齐不同速率。 RAR 的关键组件 Stride-RoPE 会把以不同步长采样的潜在视频帧，映射到共同的物理时间坐标，而不是简单依据序列位置编码。这样，模型改变生成速率时，仍能理解帧与帧之间经历了多少真实时间。
• 支持多速率和未见速率。 模型不局限于单一预设速率，也能处理训练中未直接出现的中间速率。这为根据硬件吞吐、交互需求或计算预算动态调整生成速度提供了基础。
• 允许在线切换而不丢弃历史。 在一次连续 rollout 中，用户可以改变生成速率，RAR 无需重置历史状态或丢弃 KV cache，有助于维持环境状态和时间进程的一致性。
• 缓解细节与时域的矛盾。 固定上下文长度下，提高采样速率可以捕捉更细的运动，但覆盖的物理时长会缩短。RAR 通过多步长视频采样联合训练，让模型同时学习细粒度动态与更长时域的演化。

意义与影响

RAR 的价值不只是“让模型多一种输出速度”，而是把推演速率视为可控制的环境变量。对交互式应用而言，设备性能、负载和用户操作都可能变化；如果模型能根据实际吞吐调整速率，同时保持物理时间一致，就能降低卡顿或时间漂移对体验的影响。

从建模角度看，Stride-RoPE 也提供了一种处理时间尺度的思路：模型不必把序列位置直接等同于世界时间，而可以显式区分“生成了多少帧”和“世界过去了多久”。多步长训练则扩大了单一上下文窗口能够覆盖的物理范围。

素材显示，RAR 已在动作控制和相机控制环境中评估多速率 rollout 与在线切换，并在保持高速率生成质量的同时延长物理时域；该方法还可迁移至预训练世界模型，同时保留感知质量。不过，现有信息未给出具体数据集、指标和对比数值，因此其相对收益仍应结合论文全文和项目页面进一步判断。总体而言，RAR 为实时交互世界模型走向更灵活的部署方式，提供了一个值得关注的时间建模方案。

来源：Hugging Face Daily Papers