HumanoidToolBench：把人形机器人的工具使用拆成选择与执行

导语

对人形机器人而言，工具使用是突破自身形态限制的重要能力。扫帚可以延伸手臂的作用范围，夹具可以改变末端执行器的功能，但“会用工具”并不等于把工具拿到手里。机器人首先要理解任务需求，从候选工具中做出选择；随后还要完成抓取、操作、姿态控制，必要时配合行走，最终真正改变环境状态。

现有机器人基准往往只关注某一个环节，例如物体抓取或单步操作，难以反映人形机器人在真实任务中需要面对的连续决策。韩国SNU PI团队提出的HumanoidToolBench，正是针对这一缺口设计的评测框架。

核心要点

• 覆盖完整工具使用流程。 基准包含18项任务，设置三类场景、三种执行等级，以及两种工具集模式，用于区分工具选择、操作执行和包含移动在内的更复杂能力。
• 兼顾仿真与真实机器人。 配套的ToolBook数据集包含约3100条演示，来源包括仿真环境和真实Unitree G1人形机器人，为策略训练和对比评测提供数据基础。
• 选择正确不代表任务成功。 研究团队对仿真中的7个策略和真实机器人的3个策略进行评估，结果显示，工具选择表现与最终任务完成之间存在明显落差。机器人可能判断出合适工具，却在后续抓取、操控或移动阶段失败。
• 测试泛化与指令可靠性。 针对GR00T N1.7的进一步探测表明，当工具未出现在既有经验中时，选择准确率会下降；面对无关指令时，系统还可能继续执行原有任务，说明其行为控制与指令理解仍不够稳健。

意义与影响

HumanoidToolBench的价值不仅在于增加了任务数量，更在于把“选什么”和“怎么用”放进同一条评测链路。对于人形机器人，工具使用通常跨越视觉理解、语义匹配、双臂或单臂操作、全身协调和移动控制。只看其中一项，容易高估系统的实际能力；而分阶段记录表现，则有助于定位失败究竟来自工具认知、动作规划还是身体执行。

这项工作也提醒业界，通用机器人模型的能力不能只用熟悉物体上的成功率衡量。未见工具、开放工具集合和无关指令等条件，更接近部署时的不确定环境。未来，工具使用系统需要在选择与执行之间建立更紧密的反馈机制：一旦发现抓取姿态不对、工具效果不佳或任务状态发生变化，机器人应能重新判断，而不是机械地延续原计划。作为公开基准和数据资源，HumanoidToolBench为这种端到端能力提供了一个可复现的起点。

来源：Hugging Face Daily Papers