M⁴World：面向自动驾驶仿真的多视角多模态世界模型

导语

自动驾驶仿真正在从“重放真实数据”走向“生成可交互世界”。一篇最新 arXiv 论文提出 M⁴World，试图把多视角视频、LiDAR 点云、对象级编辑和长时间流式生成放到同一个驾驶世界模型框架中。相比只追求画面真实感的生成模型，M⁴World 更强调仿真系统真正需要的能力：能否指定某辆车、某个行人或某类稀有目标出现在哪里、长什么样，并在连续时间中保持一致。

核心要点

• 多视角、多模态生成：M⁴World 面向自动驾驶常见的环视传感器设置，可合成未来 surround-view 视频流，并同步生成 LiDAR 扫描。这使它不只是视觉视频模型，也更接近车端感知系统所需的数据形态。
• 对象级交互操控：论文提出灵活的条件接口，允许对单个对象的空间布局和视觉外观进行显式控制。换言之，研究者可以围绕具体目标设计场景，而不是只能给出笼统文本提示。
• 分钟级稳定流式生成：长序列生成往往会出现漂移、身份错乱或场景崩坏。M⁴World 通过多阶段训练框架支持在线因果生成，并在较少去噪步骤下维持较长时间的世界动态连贯性。
• 面向长尾场景的定制：论文还引入少量片段后训练和视觉参考条件生成模型，在尽量保留通用生成能力的同时，为罕见案例和长尾目标提供定制化入口。
• 自动化可控性评测：作者设计了基于视觉语言模型的评判流程，不只看画面是否逼真，还评估场景条件遵循、各视角对象可控性，以及跨视角对象一致性。

意义与影响

对自动驾驶而言，最昂贵的数据往往不是普通道路巡航，而是低频、高风险、难复现的长尾场景。若世界模型能够稳定生成多视角、多模态、可编辑的驾驶片段，就可能成为仿真测试、数据增强和场景重构的重要工具。M⁴World 的价值在于把“生成质量”和“可操作性”放在同一目标下：既要像真实世界，又要能被工程师精细控制。

不过，论文材料主要来自 arXiv 摘要与页面信息，仍需阅读完整实验细节才能判断其数据集覆盖、评测可靠性、与现有方法的公平对比，以及生成 LiDAR 对下游感知模型的实际收益。总体看，M⁴World 代表了驾驶世界模型的一个清晰方向：从短视频生成走向长期、可控、多传感器的仿真世界。

来源：arXiv