机器人也能“抱团学习”：共享部署经验提升策略可靠性

导语

机器人策略在实验室里表现良好，并不意味着部署后能稳定应对各种细节变化。传统的改进方式往往依赖远程操作员持续监控，一旦机器人失败，就由人类介入并提供纠正动作。但当机器人数量扩大到车队规模时，逐台盯守和示范很快会成为瓶颈。

论文《Learning from Fleet Experience: A Collective Learning Paradigm for Robots》提出了集体经验学习（Collective Experience Learning，CEL），试图让机器人通过共享部署经验改善一套共同策略。其重点不是增加专家示范，而是利用机器人在真实执行中已经产生的数据。

核心方法

• 从失败场景反向寻找成功经验。 CEL的核心算法是失败引导经验检索微调（FERT）。当某台机器人执行不理想时，系统提取失败发生前后的上下文，并在车队共享的成功轨迹库中检索相似片段。
• 用相关动作作为学习信号。 被检索出的成功片段提供了可参考的动作序列，帮助策略在类似状态下调整行为。这样，失败本身不只是需要被记录的问题，也成为定位有效经验的入口。
• 不依赖额外人工纠正。 FERT的目标是在不收集新增专家示范或人工纠正动作的前提下，利用已有成功执行改进策略。不过，这并不意味着系统完全不需要初始策略或数据，而是减少了部署阶段对持续人工介入的依赖。
• 用异步系统支撑车队运行。 容错异步训练系统（FATS）负责协调经验采集、策略优化和模型分发，即使部分机器人出现本地中断，整体学习流程仍可继续推进。

实验结果

研究在五项真实世界机器人操作任务上进行评估。最终策略在未参与训练数据采集的机器人上测试，每项任务进行120次试验，成功率达到93.3%至99.2%。在多阶段手机包装任务中，初始成功率为79.2%；使用96台机器人进行集体学习后，成功率提升至98.3%。在每台机器人采集时间固定的条件下，扩大车队通常能带来更多经验，FERT也普遍取得更高成功率。

意义与局限

这项工作的重要性在于，它把机器人学习的基本单位从“单台机器人的单次改进”扩展为“整个车队的经验循环”。更多机器人意味着更多执行机会和更多状态覆盖，而共享经验可以让一台机器人遇到的问题转化为其他机器人的学习材料。

不过，论文摘要和现有材料主要展示了总体框架及实验结果，尚未提供不同检索策略、数据质量控制或任务迁移条件下的完整细节。因此，CEL能否在更复杂环境、异构机器人和更强分布变化下稳定工作，仍需要进一步验证。总体而言，这项研究展示了一条从部署数据中持续提升策略可靠性的路线：机器人不必等待专家逐次纠错，也可以通过车队协作，把成功经验反馈给共同策略。

来源：Hugging Face Daily Papers