返回文章列表
机器人与物理 AI

CS-JEPA:让每台群体机器人从局部信息预测同一个未来

阅读约 3 分钟

导语

群体机器人系统的难点不只是让单个机器人看懂周围环境,而是让一群只能局部感知、通信带宽有限的机器人,对“整个群体接下来会怎样”形成一致判断。论文《One Future, Every Robot》提出的 Collective-State JEPA(CS-JEPA)正是面向这一问题:每台机器人不依赖全局汇聚,也不读取完整未来动作,却要从本地观测和邻居消息中预测同一个未来集体状态。

核心要点

  • 问题设定更贴近去中心化部署:研究将任务定义为“去中心化共享状态预测”。部署时,每台机器人使用 16 帧本地历史,并在每条有向边上传递一个 64 浮点数的循环消息;系统不使用全局 pooling、目标编码器、episode clock 或记录好的未来动作。
  • 方法采用 JEPA 思路:CS-JEPA 是一种循环式联合嵌入预测架构。它并不强调重建原始未来,而是让每个机器人输出能够表示共同未来 token field 的预测表征,从而降低对显式标签和像素级重建的依赖。
  • 低标签评估:模型先在没有下游集体标签的情况下预训练,再冻结表示,用 ridge probe 在 6、12 或 24 个带全局标签的 episode 上拟合。与具有相同部署容量的原始未来重建基线相比,CS-JEPA 在多个设置下提升了预测误差和机器人间一致性的标签预算 AUC。
  • 跨拓扑与规模泛化:实验覆盖同分布、环形、mutual-kNN 以及未见过规模的机器人群体,规模最高到 108 台。五个外层随机种子中,每项效果都偏向 CS-JEPA。
  • 对规划也有帮助:在另一个八种子封闭 follow-up 中,动作条件预测器接收候选四步计划后输出本地预测表示。CS-JEPA 将 branch-value MSE 降低 45.5%,并把候选分数的上下文内 Pearson 相关提升 0.1291,所有八个种子均有利于 CS-JEPA,包括未见过的 N=32 场景。

意义与影响

这篇工作的价值在于,它把群体机器人中的“共同未来”变成一种可学习、可迁移的表示目标。相比直接重建原始未来,JEPA 式目标更像是在学习对控制有用的抽象状态:每台机器人都只拥有局部视角,但最终要对同一集体未来达成近似一致。这对于无人机编队、仓储机器人、分布式巡检等系统都很关键,因为真实部署往往无法提供密集全局标签,也难以保证通信拓扑和机器人数量始终不变。

当然,素材展示的仍是论文实验结论,是否能迁移到更复杂的真实物理环境,还需要更多验证。但从低标签、去中心化和规模外泛化三点看,CS-JEPA 为群体机器人世界模型与分布式决策提供了一个值得关注的方向。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
GPT-Policy:让机器人在部署现场从上下文中学习
机器人与物理 AI
cctest.ai
机器人与物理 AI

GPT-Policy:让机器人在部署现场从上下文中学习

GPT-Policy 将视觉语言模型、上下文编译器与受约束控制器结合,让机器人能够参考示范和交互反馈,在不更新梯度或任务参数的情况下适应新任务。研究显示,人类视频示范可以提升任务完成度,而带有动作对齐信息的参考对接触敏感任务更有帮助。

阅读全文
CCTest · Blog
小型AI模型如何让无人机在断网战场上自主识别目标
机器人与物理 AI
cctest.ai
机器人与物理 AI

小型AI模型如何让无人机在断网战场上自主识别目标

北约支持的Scaleout Systems正在把轻量级视觉模型部署到无人机、前线平板和指挥节点,使系统即使在通信受干扰时也能执行目标识别与任务更新。其参与的ALMA项目已展示无人机自主发现、定位并攻击指定目标的能力。

阅读全文