EmbodiedLab：让具身智能体通过实验“行动求知”

导语

多数具身智能基准要求机器人完成一个已知目标：抓取物体、移动物体，或把场景调整到指定状态。这类任务能够检验感知、规划和控制，却很少追问一个更接近真实科学工作的問題：如果答案事先未知，机器人能否通过行动把它弄清楚？

EmbodiedLab 正是围绕这一问题设计的基准。它强调的不是单纯“行动改变世界”，而是“行动以获得知识”。智能体拿到一个目标和一套实验装置后，需要自行决定操作顺序，运行基于物理的模拟实验室，通过摄像头读取仪器反馈，并逐步探索直到得出任务所需结论。

核心要点

• 从目标状态转向未知结果。 与传统操作基准不同，任务不会直接给出最终状态。每个实验实例都会重新采样系统参数，智能体无法仅凭训练数据预先知道答案。
• 实验过程由智能体自主规划。 智能体不仅要选择动作，还要决定测量什么、如何控制装置，以及何时停止探索。
• 结果可量化验证。 基准覆盖五个学科的30项实验和14类装置平台。评测既检查智能体最终“知道了什么”，也检查其是否完成任务要求的物理状态变化，并要求结论能够由本回合记录的读数支撑。
• 更接近完整的实验闭环。 研究团队在开发者提供的编码智能体中评估了六个前沿模型，并比较了原生观察与控制、增加感知和运动规划，以及加入操控技能等设置。

结果意味着什么

在原生控制条件下，即使表现最强的智能体，成功率也不到一半。对所有被测智能体而言，大多数失败来自与实验装置交互，而不是单纯的知识推理。这说明，当前模型即使能够生成合理的实验计划，也未必能稳定地把计划转化为精确动作。

另一个值得注意的结果是，操控技能对较弱智能体的改善幅度大于额外感知和运动规划。这并不意味着感知与规划不重要，而是表明实验型具身智能的短板可能首先出现在基础交互能力：看清仪器、准确施力、保持装置状态，并根据反馈及时调整步骤。

从评测设计看，EmbodiedLab 把科学发现、主动探索和机器人操作放进了同一闭环。它不再只问模型能否回答科学问题，也不只问机器人能否完成动作，而是检验智能体能否在未知条件下提出可执行程序、获取可靠证据，并据此形成可验证的认识。对于未来的实验室机器人和自主科学系统，这类基准有助于区分“会说实验步骤”与“真的能做实验”之间的差距。

来源：Hugging Face Daily Papers