Embodied First Exam：给编码智能体的机器人入学考试

导语

机器人领域正在出现一种不同于传统策略学习的新路线：让编码智能体理解任务、编写程序，甚至自行训练控制策略，然后把结果交给机器人执行。问题在于，面向视觉运动策略设计的既有基准，并不能充分回答这类智能体是否真的具备跨机器人、跨任务和跨环境工作的能力。

Hugging Face Daily Papers 收录的 Embodied First Exam，正是为此提出的一套面向编码智能体的机器人评测框架。它把“如何控制机器人”也纳入考题，而不是预先规定模型必须使用某种策略。

核心要点

• 控制方式由智能体决定。 智能体可以直接输出控制动作，也可以编写代码控制机器人，或先训练一个策略再执行；不同方式还可以组合使用。
• 任务范围更广。 基准包含1156个任务、35个任务套件和47种机器人。其中9个新套件不再局限于常见的抓取与放置，还覆盖空间谜题、灵巧操作、多机器人交互、动态全身控制和仿真到仿真的工程任务。
• 三种设置对应不同现实约束。 标准设置只提供传感器观测，默认不能重置环境，更接近真实世界；实时设置要求环境在智能体思考期间继续运行；特权设置开放完整模拟器状态并允许无限重置，可用于寻找训练方案，其成功率可作为近似上限。
• 当前成绩仍然有限。 在456个核心任务上，8个被评估智能体中表现最好的 GPT-6 Astra in Codex，在标准设置下成功率为34%。这一结果并不意味着方法没有价值，反而说明从“会写代码”到“能可靠控制实体系统”之间仍存在很长距离。
• 失败过程也被纳入分析。 研究还标注每次失败发生的阶段，并比较不同智能体、设置和阶段类别下的失败模式，为定位感知、规划、控制或执行环节的问题提供了统一视角。

意义与影响

这项工作的关键贡献，不只是增加了任务数量，而是改变了机器人智能体的评测对象。传统基准通常考察一个预先训练好的策略能否完成动作，而 Embodied First Exam 同时考察智能体能否理解任务、选择控制范式、处理环境反馈，并在受限条件下完成闭环执行。换言之，考试对象从“一个控制策略”扩展成了“一个能够做工程决策的智能体”。

标准设置和实时设置尤其重要。拥有完整状态、可以反复重置的模拟环境，能够帮助智能体搜索解决方案，但这种能力并不等同于现实世界中的可靠性。将不可重置、持续运行和有限观测纳入测试，有助于暴露实验室演示中容易被忽视的错误恢复与时序决策问题。

不过，现有结果仍主要来自模拟环境，特权设置也只是近似的性能上限。因此，这套基准更适合作为进入真实机器人实验前的“第一场考试”，而不是对现实部署安全性的最终认证。它的价值在于建立共同尺度，并让后续研究可以清楚回答：智能体究竟是在感知、规划、代码生成、策略训练，还是实际控制阶段失分。

来源：Hugging Face Daily Papers