返回文章列表
机器人与物理 AI

CS-JEPA:让每台群体机器人从局部信息预测同一个未来

阅读约 3 分钟

导语

群体机器人系统的难点不只是让单个机器人看懂周围环境,而是让一群只能局部感知、通信带宽有限的机器人,对“整个群体接下来会怎样”形成一致判断。论文《One Future, Every Robot》提出的 Collective-State JEPA(CS-JEPA)正是面向这一问题:每台机器人不依赖全局汇聚,也不读取完整未来动作,却要从本地观测和邻居消息中预测同一个未来集体状态。

核心要点

  • 问题设定更贴近去中心化部署:研究将任务定义为“去中心化共享状态预测”。部署时,每台机器人使用 16 帧本地历史,并在每条有向边上传递一个 64 浮点数的循环消息;系统不使用全局 pooling、目标编码器、episode clock 或记录好的未来动作。
  • 方法采用 JEPA 思路:CS-JEPA 是一种循环式联合嵌入预测架构。它并不强调重建原始未来,而是让每个机器人输出能够表示共同未来 token field 的预测表征,从而降低对显式标签和像素级重建的依赖。
  • 低标签评估:模型先在没有下游集体标签的情况下预训练,再冻结表示,用 ridge probe 在 6、12 或 24 个带全局标签的 episode 上拟合。与具有相同部署容量的原始未来重建基线相比,CS-JEPA 在多个设置下提升了预测误差和机器人间一致性的标签预算 AUC。
  • 跨拓扑与规模泛化:实验覆盖同分布、环形、mutual-kNN 以及未见过规模的机器人群体,规模最高到 108 台。五个外层随机种子中,每项效果都偏向 CS-JEPA。
  • 对规划也有帮助:在另一个八种子封闭 follow-up 中,动作条件预测器接收候选四步计划后输出本地预测表示。CS-JEPA 将 branch-value MSE 降低 45.5%,并把候选分数的上下文内 Pearson 相关提升 0.1291,所有八个种子均有利于 CS-JEPA,包括未见过的 N=32 场景。

意义与影响

这篇工作的价值在于,它把群体机器人中的“共同未来”变成一种可学习、可迁移的表示目标。相比直接重建原始未来,JEPA 式目标更像是在学习对控制有用的抽象状态:每台机器人都只拥有局部视角,但最终要对同一集体未来达成近似一致。这对于无人机编队、仓储机器人、分布式巡检等系统都很关键,因为真实部署往往无法提供密集全局标签,也难以保证通信拓扑和机器人数量始终不变。

当然,素材展示的仍是论文实验结论,是否能迁移到更复杂的真实物理环境,还需要更多验证。但从低标签、去中心化和规模外泛化三点看,CS-JEPA 为群体机器人世界模型与分布式决策提供了一个值得关注的方向。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章