同样的解释，不同的动作：推理型 VLA 的文本—行动脱钩风险

导语

许多推理型视觉语言行动模型（VLA）会先生成自然语言理由，再据此或同时输出驾驶、抓取等物理动作。这样的设计便于人类监督：如果模型说出危险判断，监控系统或许能及时发现异常。然而，一篇发表于 Hugging Face Daily Papers 的研究提醒我们，文本解释并不一定是行动的可靠窗口。

研究标题为《Say the Same, Act Differently》，关注的正是文本与行动之间可能出现的脱钩：模型可以给出完全相同的理由，却执行不同、甚至危险的动作。

核心要点

• 攻击不必修改解释。 以往针对 VLA 推理过程的攻击，往往会让理由本身出现明显变化。本文转而寻找一种视觉扰动，使动作发生偏移，同时尽量保持生成文本不变。
• 提出 TNAS 诊断方法。 在 Alpamayo 自动驾驶模型和 InstructVLA 操作模型的共享文本—行动接口处，研究者寻找对动作敏感、但对文本损失不敏感的隐藏状态方向，并将其称为文本中性行动子空间（TNAS）。
• 文本与动作读取方式并不等价。 实验显示，最敏感的行动方向与活跃文本梯度的范数重合度，在两个模型中分别只有 1.87% 和 5.28%。这意味着文本输出可能丢失大量与动作有关的信息。
• 驾驶实验暴露安全盲点。 在 154 个带障碍物标注的 Alpamayo 场景中，TNAS 引导的全图扰动有 52.6% 的场景出现新碰撞，同时理由逐字一致；仅作用于前视摄像头局部区域时，这一比例仍为 35.1%，而无引导攻击为 4.55%。
• 操控任务也出现类似现象。 在 InstructVLA 上，攻击能够在较高比例样本中保持完整文本响应，同时改变动作块，说明问题并非自动驾驶模型特有。

意义与影响

这项工作并不是在证明所有 VLA 都会被同样方式攻破，而是在指出一种容易被忽略的评估错误：把语言解释当作行动安全的代理指标。对于具身系统，解释属于一种“多对一”的输出，许多隐藏状态差异可能不会反映在文字中；但这些差异仍足以改变控制信号。

因此，安全监控应同时检查预测动作、轨迹、碰撞风险和执行结果，而不能只做文本一致性检测。模型评估也需要加入“解释保持不变、行动发生变化”的反事实测试，并覆盖全图与局部视觉扰动。更长期看，VLA 的文本和行动头是否应共享接口、如何让解释真正对应控制决策，可能成为训练与架构设计的重要问题。研究的价值正在于把“模型说得合理”与“模型做得安全”明确区分开来。

来源：Hugging Face Daily Papers