PDRVLA：让视觉语言动作模型具备更强物理动态感知

导语

视觉语言动作（VLA）模型已经能够根据摄像头画面和自然语言指令生成机器人动作，但“看懂场景”并不等于“预判动作后果”。当机器人需要推动、抓取或摆放物体时，仅依赖当前图像可能难以判断物体将如何移动、遮挡关系会怎样变化，以及当前动作是否会导致后续失败。PDRVLA关注的正是这一问题：在不把未来视频生成放进控制循环的前提下，为VLA补充对物理动态的表示能力。

核心方法

PDRVLA的关键组件是一个轻量级Physical Dynamics Module。它接收视觉与语言特征，提取可用于动作决策的“物理token”，再将这些token用于条件化动作生成。与直接在线运行视频世界模型不同，该方法不要求控制系统实时生成完整未来视频，从而试图降低世界模型带来的延迟。

模块的学习目标并非只预测下一步动作，而是直接预测未来的多种视觉特征，包括：

• RGB特征，用于描述未来外观变化；
• 深度特征，用于反映场景的空间结构变化；
• 光流特征，用于刻画物体或场景中的运动趋势。

此外，训练过程中还使用冻结的预训练视频世界模型提供辅助监督。这样的设计将世界模型的动态知识压缩到更轻量的表示模块中，而不是在机器人每次决策时完整调用世界模型。

数据与实验

论文称，PDRVLA完全依赖公开数据训练，并通过人到机器人数据合成、子任务标注和具身链式思维（ECoT）标注扩大监督信号。除动作标签外，模型还可以利用任务分解和未来状态相关信息学习更明确的执行路径。

在四项仿真基准中，PDRVLA在LIBERO上的成功率为99.3%，在LIBERO-Plus上为89.9%，在RoboTwin 2.0上为93.6%，在SimplerEnv上为81.5%。消融实验进一步考察了世界模型监督、子任务条件、未来物体位姿监督和ECoT训练对未来预测及动作成功率的影响。

意义与边界

PDRVLA的价值在于提供了一种折中方案：机器人不必在线生成完整未来视频，也不必只根据静态观测做动作，而是通过紧凑的物理动态表示将“未来会发生什么”纳入决策过程。这一思路对需要处理接触、运动和遮挡变化的具身任务具有启发意义。

不过，现有结果主要来自仿真基准，素材并未提供真实机器人部署、计算开销或跨环境泛化方面的结论。因此，PDRVLA能否在真实场景中稳定应对传感器噪声、未见物体和复杂接触 dynamics，仍需要进一步验证。总体而言，该工作展示了将世界模型监督转化为低延迟动作条件的一条路径，也说明未来VLA竞争的重点可能不只是语言理解和动作规模，还包括对物理变化的预测能力。

来源：Hugging Face Daily Papers