PAIR：为视觉语言动作模型补上感知到行动的桥梁

导语

视觉语言动作模型（VLA）需要完成一条比普通视觉语言任务更长的链路：先理解画面和指令，再把这种理解转化为连续、及时且可执行的机器人控制信号。现有不少连续动作 VLA 主要通过最终动作预测损失来训练，感知表征如何过渡到动作表征，往往没有被明确建模。PAIR 的切入点，正是把这段“隐含转换”显式化。

PAIR 做了什么

PAIR 的核心不是增加一个单独的动作预测头，而是构造一个位于感知空间和动作空间之间的共享表示。训练阶段，方法首先使用 Masked Action Autoencoder 对专家动作片段进行编码，将动作块压缩为与时间跨度对齐的 Action Latent Tokens。这样，动作不再只是最终要回归的连续数值，也能以结构化的潜在形式参与训练。

随后，Bridge Module 从当前的视觉—语言表征中提取与任务相关的特征，并将其与 Action Latent Tokens 对齐，形成 Bridge Tokens。这些 token 一方面保留视觉场景和语言指令中的任务信息，另一方面吸收专家动作的组织结构。经过投影后，Bridge Tokens 会被注入初始 Action Tokens，为后续的 Action Expert 提供一个更“行动就绪”的起点，再由其进一步细化动作序列。

推理时，训练用的动作自编码器会被移除。模型仅依据当前观测和指令生成 Bridge Tokens，因此不会依赖推理阶段不可获得的专家动作。

实验结果

论文在 LIBERO、LIBERO-Plus 和 CALVIN ABC-D 等基准上评估了 PAIR，并将其应用于 OpenVLA-OFT 与 VLA-Adapter。摘要给出的结果包括：

• 在 LIBERO-Plus 上，VLA-Adapter 的成功率从 59.1% 提升到 64.2%。
• 在 CALVIN 上，VLA-Adapter 的平均完成序列长度从 4.42 增至 4.53。
• 论文还报告了七项真实世界任务上的提升，但现有素材没有提供各任务的完整数值和实验细节。

意义与局限

PAIR 的价值在于提出了一个清晰的建模视角：VLA 的瓶颈不一定只在视觉理解或动作解码本身，也可能在两者之间缺少合适的接口。通过让中间 token 同时承载任务语义和动作结构，模型能够在进入动作专家之前获得更明确的控制线索。

当然，现有素材主要呈现方法概述和部分结果，尚不足以判断不同数据规模、动作表示或桥接模块设计对性能的具体贡献，也无法据此评估泛化能力和计算开销。后续研究仍需通过更完整的消融实验，说明性能提升究竟来自动作潜变量、特征对齐，还是早期 token 注入策略。

总体而言，PAIR 为连续动作 VLA 提供了一种可复用的感知—行动接口设计，有望推动研究从“直接预测动作”转向更明确地学习任务理解如何组织成可执行行为。

来源：Hugging Face Daily Papers