RynnWorld-Latent：用统一潜在动作连接人类视频与不同机器人

导语

机器人要从视频中学习“做什么会发生什么”，通常需要同时理解视觉变化与动作控制。但现实数据来源高度异构：不同机器人具有不同的关节、末端执行器和控制接口，人类视频又几乎没有可直接执行的动作标签。RynnWorld-Latent试图绕开这一瓶颈，提出一种面向跨具身学习的潜在动作条件视频世界模型。

核心方法

该工作使用RynnLAM提出的、具有3D基础的潜在动作描述作为共享接口。与直接拼接各类机器人的原生动作不同，这种表示更关注交互过程中物体和身体的空间运动，从而可以把人类交互视频、不同机器人示范以及仿真轨迹放入同一训练框架。论文报告的预训练覆盖23个数据集、约5.535亿帧，并在预训练后针对目标机器人进行适配。

模型建立在预训练视频Transformer之上，动作条件主要由两部分组成：

• 全局动作令牌：提供一段动作或状态变化的整体语义，帮助模型判断未来演化方向；
• 局部对齐路径：采用恒等初始化，将动作信息按帧注入视频表征，使转移描述与对应的未来视觉潜变量建立更直接的联系。

这种设计试图同时保留长时程动作意图和局部运动细节。论文还观察了在相同初始画面下输入不同动作序列时的动作跟随能力，说明模型并非只学习静态场景外观，也在学习动作与视觉后果之间的关系。

数据生成与实验信号

研究提供了两条面向目标机器人的数据生成路线。数字遥操作使用目标机器人的控制命令生成动作—视频示范；潜在动作合成则把源视频中的运动迁移到经过编辑的初始画面，再配合重新映射的伪机器人动作生成轨迹。前者更接近目标平台的原生控制，后者则扩大了可利用的跨具身运动来源。

在公开基准和两个真实机器人平台上，RynnWorld-Latent取得了更好的视频预测指标，并展示出定性上的动作条件生成能力。进一步地，合成数据用于LIBERO和LIBERO-Plus的中间训练后，策略成功率有所提升；两种生成路线在论文评估的真实场景中也优于仅使用真实示范的训练方式。不过，素材没有给出具体成功率数值，因此这些收益仍应结合完整论文中的实验设置和基线解读。

意义与局限

这项工作的关键价值在于，把“统一动作空间”从机器人原生控制层上移到视觉和空间运动层。这样，世界模型可以先吸收更广泛的视频经验，再通过后训练连接到特定机器人的执行接口，有望降低跨平台数据整理和标注成本。

但潜在动作并不等于可直接执行的机器人指令。合成轨迹中的伪动作、编辑后的环境与真实物理之间也可能存在偏差，最终效果仍依赖目标机器人适配和数据质量。因此，RynnWorld-Latent更像是一种扩展跨具身预训练规模的接口方案，而不是已经解决通用机器人控制的最终答案。

来源：Hugging Face Daily Papers