NVIDIA Cosmos 3 推出四款开放模型，面向可交互世界模拟

世界模型的价值不只是生成一段看起来逼真的视频，更在于能够根据动作、环境状态和历史观测，持续预测“下一步会发生什么”。NVIDIA 此次为 Cosmos 3 Nano 发布四款开放权重模型，重点覆盖自动驾驶与机器人交互场景，进一步把视频生成与可操作的仿真流程连接起来。

核心要点

• Transfer-Auto：从场景控制生成驾驶数据。 该模型可生成最多 11 路相机视角，包括鱼眼相机，并支持 RGB 与 LiDAR 的联合生成。研究者可以通过 World Scenario Map 控制道路结构、交通运动和环境条件，再用文本提示调整天气、光照与时段。它还可作为适配自有相机布局、LiDAR 配置和驾驶领域的基础模型。
• Sim-Auto：面向闭环交互的流式观测。 这是 Transfer-Auto 经过因果训练和蒸馏后的版本，能够依据驾驶控制、生成历史和场景控制，连续输出小片段的同步相机与 LiDAR 观测。真正的闭环运行仍需要仿真运行时和 WSM 渲染器更新控制信号。
• Sim-Transfer：把仿真状态变成视觉输入。 物理仿真器负责运动、接触和状态计算，模型则依据深度、分割、边缘或模糊布局等空间控制生成 RGB 视频，供策略继续决策。这样可以将物理状态与视觉表现分工处理。
• Sim-Bimanual：预测双臂机器人动作后的画面。 模型支持 YAM 和 AgiBot 机器人形态，可从初始图像和动作序列预测后续观测，也允许在视角变化与操作动作之间切换。其推理输入需要遵循公开的动作表示、坐标系、旋转、夹爪标定和时间对齐规范。

技术与限制

四款模型都是 Cosmos 3 Nano 的后训练示例，拥有 16B 可训练参数，使用 OpenMDW1.1，具体商用和非商用使用方式需遵循该许可。Cosmos 3 采用混合 Transformer 架构，将文本处理网络与视觉生成网络连接起来；生成器根据控制信号和历史内容逐段预测视频，并通过时间因果注意力避免读取未来观测。压缩视频潜变量和键值缓存则用于降低连续生成的成本。

意义与影响

这组发布的重点并非单纯提升视频画质，而是提供多种“动作—观测”接口：驾驶策略可以获得同步视觉与三维感知数据，机器人策略可以观察动作后果，研究者也能在仿真器与生成模型之间组合不同的控制方式。开放权重和后训练流程有助于适配新的传感器与机器人平台。

不过，模型是否足以支持策略训练和可靠评估，仍需要系统测试。生成结果与真实物理状态的一致性、长时间滚动中的误差积累，以及不同硬件和场景下的泛化能力，都是后续使用者必须验证的问题。

Hugging Face Blog