NEO-VLA：让机器人从视觉计算过程中直接生成动作

导语

视觉语言动作（Vision-Language-Action，VLA）模型通常沿用一种清晰的流水线：视觉编码器先把图像压缩成适合语义理解的特征，语言模型再结合这些特征推理，最后由动作模块输出机器人的控制信号。这种设计便于复用成熟的视觉语言模型，却也可能丢失机器人真正关心的信息——物体边界、局部几何、深度关系，以及操作过程中细微的状态变化。

来自论文《From Pixels to Actions - Towards Native Vision-Language-Action Policies》的研究提出了NEO-VLA，试图打破“动作只能读取固定视觉编码结果”的前提。

核心要点

• 取消固定的视觉编码终点。 NEO-VLA不再先运行一个独立的视觉编码器，再把其最终输出传给动作策略。图像通过轻量级的图像块卷积层转换为令牌，随后与语言令牌在同一个主干网络中共同演化。
• 让动作模块读取不同深度的信息。 模型使用基于流匹配的动作专家，并允许它利用网络不同层级、经过指令条件化的视觉表示。这样，策略不必只依赖最后一层已经高度抽象的视觉特征。
• 原生表示比简单移除编码器更重要。 对比结果显示，原生架构在受控实验中优于基于视觉编码器的方案。即使对后者进行完整微调，差距也没有完全消失；单纯扩大模型规模同样不能替代架构层面的改变。
• 动作关键信号可能出现在中间层。 逐层探测表明，与控制相关的视觉信息往往在最终视觉表示之前就达到更有效的状态。对操控而言，“更深”并不必然意味着“更适合动作”。

意义与局限

这项工作的重要性不只是提出了一个新的VLA模型，更在于它重新定义了视觉表示和动作控制之间的接口。面向分类或图像描述优化的最终视觉特征，可能更擅长表达“看到了什么”，却未必适合回答“下一步应该如何移动”。机器人需要的视觉能力既包括高层语义，也包括持续变化的空间和状态信息。因此，让动作策略接触视觉计算的层级过程，可能比盲目追求更大的视觉编码器更有效。

NEO-VLA在不同操控环境和视觉分布变化下表现出更强的控制能力，说明这种设计有助于应对外观变化。不过，研究也指出，空间配置变化和任务目标变化仍会带来困难。这意味着，开放中间视觉表示并不能自动解决泛化问题，模型仍需要更灵活的空间推理、任务理解和控制机制。

总体来看，NEO-VLA把VLA研究的关注点从“如何压缩视觉输入”推进到“哪些视觉计算应当被动作策略保留”。对于具身智能而言，未来的关键或许不是把感知和控制彻底分开，而是让二者在多个计算层级上持续协作。

来源：Hugging Face Daily Papers