PrimeSim：用跨本体机器人数据打造可长时运行的世界模型模拟器

导语

机器人世界模型的价值，不只是生成一段“看起来像真的”视频。要成为可用的模拟器，模型还必须根据动作指令产生可信变化，让不同摄像头看到相互一致的场景，并在较长时间范围内避免状态逐步漂移。PrimeSim 试图把视频生成模型推进到这一方向：它以预训练视频生成器为基础，经过跨机器人数据训练和面向模拟器的后训练，形成一个动作条件、多视角的机器人世界模型。

核心方法

PrimeSim 的训练分为两个阶段。中期训练阶段使用来自22个平台、总计30110小时的机器人演示数据，覆盖不同机械结构和控制接口。为降低不同机器人本体之间的表示差异，研究者设计了统一的跨本体动作表示，并采用与视频帧对齐的双路径条件机制，使动作信号更直接地对应到画面变化。

多视角一致性是另一项重点。PrimeSim 引入带有显式摄像头身份的视角感知交错注意力：不同视角可以交换场景信息，同时保留各自的视图特征。这样做的目标，是避免模型分别生成每个摄像头画面时出现物体位置、形变或接触关系不一致。

在后训练阶段，研究者将原本的双向视频生成器转化为更适合连续交互的自回归模拟器。其“快速视频、慢速记忆”框架结合因果生成、自滚动训练和分层时间记忆。模型不只在真实历史帧上学习，也会使用自身生成的历史继续训练，从而更早暴露并适应部署时的误差累积问题。经过筛选的 KV-cache 记忆则负责跨生成片段保留较长时间的上下文。

结果与边界

PrimeSim 在包含三个摄像头视角的推理中达到10.1 FPS。根据素材，其在 EWMBench 上取得总体最佳成绩，并在五个 WorldSimProbe 测试套件中的四个领先开放模型；不过，在细粒度局部校准方面仍落后于部分基线。模型还展示了对未见机器人平台的适应能力，在100至200个梯度步骤内完成迁移，而预训练骨干模型本身未能做到。

研究者进一步把 PrimeSim 当作强化学习环境。在 LIBERO 仿真任务中，GRPO 后训练将成功率从61.7%提升至73.2%；模型对策略成功率的预测与物理模拟器具有足够相近的排序能力，可用于筛选策略。但需要强调的是，现有实验全部在 AgiBot G2、LIBERO 和 RoboTwin 等仿真环境中完成，没有使用真实机器人，闭环硬件部署仍属于后续工作。

意义与影响

PrimeSim 的意义不在于单纯提高视频逼真度，而在于把动作、视角、记忆和策略评估放进同一个可交互模型中。如果这类模型能够在更多真实平台上保持稳定，它有望减少机器人策略训练对昂贵实体设备的依赖，并支持先在模型内部进行策略搜索和筛选。

同时，长时一致性、局部物理精度以及从仿真到现实的差距仍是关键限制。10.1 FPS 说明其实时性已有一定基础，但并不等于在真实控制回路中已经可靠。PrimeSim 更适合作为跨本体世界模型和仿真强化学习的一项进展来看待，而不是已经完成验证的通用机器人环境。

模型权重、推理代码和训练代码计划于11月6日发布。

来源：Hugging Face Daily Papers