LaLa-World：用自然语言统一多域潜在世界模型与机器人规划

导语

世界模型的目标，是让智能体在真正行动前先在内部“想象”可能发生的未来。近年来，基于 JEPA 的潜在世界模型通过预测压缩后的视觉表示，避免了直接生成高保真视频的高昂成本，但这类方法通常针对单一环境或任务训练，难以同时利用仿真、机器人轨迹以及更广泛的图像和视频数据。

论文提出的 LaLa-World 试图解决这一问题：它把自然语言作为不同数据源之间的共同动作接口，使一个语言条件潜在世界模型能够预测动作之后的视觉状态变化。

核心方法

LaLa-World 的关键设计有两点：

• 用语言描述异构动作。 数值控制信号可以被转写为语言，画面中的视觉变化也可以用语言表达。这样，仿真数据、机器人操作轨迹和普通图像视频就能在相对统一的条件格式下参与训练。
• 以语言模型承担未来预测。 预测器建立在语言模型之上，不只是读取文本指令，还根据语言条件预测未来的视觉潜在表示。规划时，模型可以在潜在空间中快速展开多种可能结果，再由模型预测控制（MPC）选择行动路径。

这种设计的重点并非让模型生成可观看的视频，而是以更低成本预测与决策有关的未来表征。对于机器人而言，规划器关心的是“采取某个动作后物体会在哪里、场景会如何变化”，而不是每一帧是否具备视频级细节。

实验结果

根据论文报告，单个跨域训练的 LaLa-World 在平均 MPC 规划表现上超过了分别针对不同领域或任务训练的潜在世界模型。加入额外的图像和视频数据后，模型的平均规划能力继续提升，同时对动作措辞变化更加稳健。这意味着自然语言接口不仅承担数据对齐作用，也可能帮助模型从更广泛的视觉经验中学习变化规律。

在与基于 RAEv2 的视频生成模型进行匹配比较时，LaLa-World 获得了相近的规划表现，但训练成本约低 6 倍，规划速度约快 13.9 倍。论文还将预训练模型进一步用于 LaLa-Policy，使策略同时预测机器人动作和未来视觉表示。在 LIBERO 与 RoboCasa 上，LaLa-Policy 的表现可与 Cosmos Policy 竞争，推理速度最高提升 5.5 倍。

意义与局限

LaLa-World 展示了一条较有吸引力的路线：世界模型不一定要绑定某个环境的动作空间，也不一定要依赖完整的视频生成能力。自然语言可以充当不同数据集之间的中间层，而潜在状态预测则保留了规划所需的效率。

不过，现有材料主要给出了总体结果，尚未提供各任务的详细数值、数据规模和失败案例。因此，这些结果更适合被理解为方法可行性的证据，而不是对所有机器人场景都有效的保证。动作语言的准确性、潜在表示是否保留关键控制信息，以及从离线预测到真实机器人执行之间的差距，仍值得进一步评估。

总体而言，LaLa-World 的价值在于把多模态预训练、潜在世界建模和机器人策略学习放进同一条技术链路，为低成本想象式规划提供了新的统一接口。

来源：Hugging Face Daily Papers