RynnVLA-Latent：用3D潜在动作扩展机器人操作基础模型

导语

机器人视觉-语言-动作（VLA）模型正在从“看懂指令”走向“执行操作”，但规模化训练仍受两个瓶颈限制：高质量机器人动作示范难以大量获取，不同机器人又使用不同的控制接口。直接把人类视频或其他机器人的轨迹用于策略学习，往往会遇到动作空间不兼容的问题。

RynnVLA-Latent试图绕开这一限制。论文提出RynnLAM，从视频中的视觉状态变化学习连续的潜在动作，并将其作为不同机器人之间共享的中间表示。换言之，模型不必先知道某段视频对应哪一种机械臂控制指令，而是先学习“物体和场景发生了怎样与控制相关的运动”。

核心方法

• 3D约束的潜在动作。 RynnLAM结合残差未来特征预测、相机运动补偿的3D流监督，以及相机运动解耦机制，减少模型仅凭外观变化判断动作的倾向。
• 从异构视频获得监督。 预训练数据包含人类、机器人和仿真视频，总量为30.1K小时，并生成7.4552亿个潜在动作描述符。由于监督目标不是某种机器人的原生控制量，数据可以跨来源汇总。
• 从潜在动作到具体控制。 RynnVLA-Latent根据视觉观察和语言指令，通过流匹配预测潜在动作片段；随后再对骨干网络和动作专家进行面向具体机器人本体的适配，将共享表示转换为目标机器人的原生动作。

实验表现

4B策略在LIBERO上取得98.8%的成功率，在无需针对基准额外适配的LIBERO-Plus上达到84.7%；在VLABench五条评测轨道上的平均成功率为51.9%，在RoboTwin 2.0双臂基准上的平均成功率为88.6%。论文还报告了涵盖灵巧手和移动夹爪平台的六项真实世界操作任务结果，并称其在所比较方法中取得最高的观察到成功率。表示探针实验与数据规模实验则用于验证潜在表示的可预测性，以及增加预训练数据带来的收益。

意义与影响

这项工作的关键价值不只是扩大视频数据量，而是重新定义视频在机器人预训练中的角色：视频不必提供精确的电机控制标签，也能通过3D运动和未来状态变化形成面向控制的监督。潜在动作因此成为连接人类行为、仿真轨迹和不同机器人本体的一层“共同语言”。

如果这一范式能够在更多任务和硬件上保持稳定，它可能降低机器人数据采集与标注成本，并推动VLA从单一平台训练走向跨本体预训练。不过，论文当前结果仍应结合具体基准、机器人平台和适配流程理解；潜在动作最终能否可靠地落地为细粒度控制，仍取决于后续本体适配的质量。

来源：Hugging Face Daily Papers