HandsOn：用大规模仿真检验灵巧操作的泛化能力

导语

机器人能否把“会做一个动作”变成“换一只手、换一个物体、换一种关系后仍然做对”，是灵巧操作走向通用化的关键。论文提出的 HandsOn，试图通过统一的仿真环境和更细致的任务划分，衡量策略在跨机械本体、跨物体以及跨任务要求上的真实泛化能力。

一个面向跨本体操作的测试平台

HandsOn 是可组合的仿真平台，支持 5 种机械臂、6 种灵巧手，以及约 200 个刚体、关节物体和可变形物体。平台还提供约 1.8 万条经过整理的人类演示，采用 LeRobot v2.1 格式，并同步记录前视和腕部相机观测。这样的设计让研究者可以更方便地比较不同控制结构、视觉输入和动作表示，而不必把实验局限在单一机器人或单一物体类别上。

基准包含 66 个经过人工验证的任务，并分为两部分：

• Core-50：用于基于演示的学习和执行测试，考察策略能否从训练数据中学习并完成核心操作。
• Transfer-16：测试物体资产迁移、空间关系迁移、技能组合和可变形物体操作，而且目标任务不提供训练演示。

这种划分把“记住训练分布”与“应对新情况”区分开来。尤其是 Transfer-16，它更接近真实部署中的问题：机器人可能见过相似技能，却没有见过当前的物体、关系或任务组合。

结果揭示的主要瓶颈

作者在扩散策略、视觉语言动作模型、世界—动作模型以及由提示驱动的视觉语言模型等方法上进行了比较。表现最好的训练型多任务策略，在 Core-50 上成功率为 29.1%。这个结果说明，灵巧操作的难点并不只是视觉识别或轨迹生成，而是把感知、接触和连续控制稳定地连接起来。

诊断实验进一步将失败拆分为几个阶段：策略经常难以建立有效接触，难以协调手掌与手指动作，也难以在已经取得部分进展后维持目标状态。对于技能组合任务，还会出现执行顺序错误。换言之，机器人可能知道每个局部动作，却无法把它们组织成可靠的长链条行为。

论文还报告了未针对该基准微调的 GPT-6 实验。模型通过 move_eef 同时进行手掌和手指控制，在 660 次试验中，Core-50 成功率为 5.2%，Transfer-16 为 1.9%。这一结果并不能代表所有通用模型的能力，但清楚表明，仅依靠高层视觉语言推理，距离稳定的物理交互仍有较大差距。项目页面也展示了定性层面的真实机器人运行结果，说明仿真策略具备一定的 sim-to-real 探索价值，但不应将其等同于大规模现实环境验证。

意义与影响

HandsOn 的价值首先在于提供了更统一的比较坐标：研究者可以同时观察策略在不同本体、资产、关系和可变形物体上的表现，而不仅仅报告某个固定任务的平均成功率。其次，阶段级诊断有助于把“失败了”进一步转化为接触建立、动作协同、目标保持或任务排序等可操作的问题。

对后续研究而言，提升分数可能需要的不只是扩大模型规模，还包括更好的接触建模、面向技能组合的层级控制、跨本体动作表示，以及能够处理变形和不确定性的闭环策略。HandsOn 已公开代码和 PhysX 演示数据，为这些方向提供了可复现实验基础。

来源：Hugging Face Daily Papers