DONIC：让双手灵巧机器人从人类示范中学会协同操作

导语

机器人要真正复刻人类的日常操作，难点往往不在于移动单只手，而在于让两只灵巧机械手围绕同一个物体持续配合：一只手固定，另一只手旋拧；两只手同时施力，又要随着物体状态变化不断调整接触。现有灵巧操作跟踪研究更多聚焦单手场景，双手协同所需的接触数据和训练机制仍然不足。

DONIC（Generalist Dexterous Bimanual Tracking Control from Human Demonstrations）正是针对这一问题提出的通用双手跟踪策略。它试图用一个策略，学习来自不同操作类别和不同人类运动来源的双手示范，并控制两只 Wuji 灵巧手完成对应动作。更重要的是，策略在不进行微调的情况下，也能处理未见过的动作轨迹和物体。

核心要点

• BiHOI 数据集补足双手交互数据。 研究团队构建了一个多视角双手人-物交互数据集，包含 1,575 段序列、229 个物体和 14.77 小时交互记录。数据强调持续性的双手接触，并将重建后的人类交互重定向为机器人参考轨迹。
• 为每只手分配与接触角色相关的反馈。 DONIC 使用以物体为中心的逐手奖励。一方面，物体运动提供了统一的任务反馈；另一方面，每只手又会根据其在参考动作中的接触角色获得监督，从而减少两只手各自追踪、却没有形成协同的风险。
• 改造优势估计，适应异构示范。 Clip-Centered Advantages 用片段为中心处理优势值，消除不同参考轨迹之间可能存在的优势偏移，同时保留同一轨迹内部的相对差异。这使一个策略能够在多种动作和示范来源之间共享学习信号。
• 让成功执行反过来成为数据。 方法将近端策略优化（PPO）与行为克隆放入反馈循环：执行结果经过验证后，成功样本会被回收为新的训练示范。这样，策略不只模仿初始数据，也能利用自身已经学会的可靠行为继续改进。

实验结果与意义

在仿真评估中，DONIC 在训练对象的未见轨迹上取得 86.79% 的成功率，在留出对象上达到 57.32%，且无需微调。按照论文给出的比较结果，这一表现超过了作为对照的双手版本 DexTrack 和 Dexplore；加入 BiHOI 数据后，七项指标在两个留出划分上均得到提升，成功率进一步达到 88.68% 和 59.76%。

这项工作的价值不只是增加了一个双手机器人数据集。它把问题拆成了数据、奖励和训练闭环三个相互关联的部分：数据负责呈现真实的持续接触，奖励负责保持物体层面的协同，反馈回路则负责将成功经验重新纳入学习。对于双手装配、开合、搬运等接触密集型任务，这种设计提供了一条从人类示范走向通用策略的路径。

当然，当前结果主要来自仿真中的成功率，素材没有提供更广泛真实机器人部署的结论。因此，DONIC 能否在传感噪声、硬件差异和未建模接触条件下保持同等泛化能力，仍有待进一步验证。即便如此，它已经清晰表明：双手灵巧操作的关键，不只是把两个单手控制器并排使用，而是围绕共享物体状态建立统一的学习与反馈机制。

来源：Hugging Face Daily Papers