前沿视觉语言模型，距离机器人通才还有多远？

导语

让机器人完成“拿起物体并放到指定位置”这样的任务，要求模型同时理解场景、规划步骤、选择动作，并确认最终状态是否满足要求。Embodied Agent Arena 试图回答一个关键问题：当前前沿视觉语言模型（VLM）是否已经具备成为机器人通才的能力？

一次覆盖完整能力链的评测

该基准评估了十个 VLM 智能体，包含几何、空间推理、可供性、任务规划和操作控制五个领域，共计1000个案例。数据由32个已有来源与 GeoProbe 组成，后者包含168个关于相机、运动、深度和尺度估计的案例。评测尽量采用各任务原生的交互接口，并通过轻量级执行框架把决策空间交给模型，而不是为模型预设过多策略。

研究的价值不只是给出平均分，更在于拆解模型究竟在哪里出错。结果显示：

• 闭源模型在五个领域整体领先；开源 VLM 虽能进行有用的空间推理，但在任务规划和操作控制上的成功率明显较低。
• 相近的几何误差并不代表相同的能力缺陷。有的模型主要误判尺度，有的模型则对形状或空间关系的理解发生偏移。
• 模型预测出一个物体区域，并不意味着它找到了真正可操作的落点。视觉上的“正确区域”与机械臂可执行的动作位置之间仍有距离。
• 在长流程任务中，智能体可能已经完成早期子目标，却在后续失去对物体的控制、把动作绑定到错误的接收区域，或过早结束而没有确认目标状态。

更多推理不一定带来更好结果

评测还考察了额外计算和自我修正的作用。代码修复有时能够让执行过程恢复，但并不能保证任务最终完成；自我复核也并非总是有益，甚至可能推翻原本正确的判断。这说明具身智能中的关键瓶颈，不只是“想得不够久”，而是模型是否拥有可靠的反馈闭环：它能否识别缺失的前置条件，依据环境变化调整动作，并在结束前验证物理状态。

不同模型的失败成本也不相同。规划能力较强的模型，失败更集中在持续时间较长的身体控制任务；另一些模型则会在多种流程中普遍失效。成功轨迹表明，有效恢复通常不是重新开始，而是利用反馈补齐缺失条件，再继续剩余步骤。

意义与影响

这项研究提醒业界，机器人通才不能用单一的视觉问答或空间评分来定义。未来评测需要同时关注感知误差的类型、动作是否可执行、任务状态是否真正达成，以及模型如何从失败中恢复。对机器人开发者而言，提升 VLM 的关键可能不只是扩大模型规模，还包括更好的状态估计、动作接地、过程监控和反馈机制。当前模型已经展示出部分通用能力，但距离在开放环境中稳定、连续、可恢复地完成任务，仍有明显差距。

来源：Hugging Face Daily Papers