RoboColosseum：让机器人策略在真实世界中接受大规模检验

导语

机器人策略的评测，难点不只是设计任务，还在于如何让不同地点、不同机器人和不同实验条件下的结果可比较。论文提出的 RoboColosseum，试图把真实世界中的分散式机器人试验组织成一套统一流程：通过统一的策略服务和标准化协议，让本地运营的机器人在各自环境中完成相对可复现的对比。

核心要点

• 覆盖多种机器人本体。 初步研究涉及 SO-101、Franka、双臂 YAM 和 G1 人形机器人，评估对象包括五种视觉-语言-动作策略，以及三个前沿 AI 智能体。
• 设置两条评测赛道。 Open Track 不进行任务专项适配，采用盲测式两两比较；Fine-tune Track 则让 VLA 策略针对20项任务进行适配，每项任务提供相同的100条示范数据。
• 真实世界能力并不等同于模型声量。 在124个地点完成的5699次开放赛道比较中，前沿智能体的表现可以与专用 VLA 策略相抗衡，但所有系统在开放世界任务上的稳定完成能力仍然有限。
• 微调会重排模型座次。 微调后，GR00T N1.7 在 SO-101 上领先，π0.5 在 Franka 和双臂 YAM 上领先。不同机器人本体任务集之间的排名一致性较弱，Kendall’s W 仅为0.24；开放赛道排名也无法很好预测微调后的相对表现。
• 失败不等于没有能力。 在 G1 人形机器人上的五项任务中，没有策略完成任何任务，但平均进度仍在13.3%至23.2%之间。研究因此引入部分进度衡量，以补充单一成功率指标。

意义与影响

RoboColosseum 的价值首先在于把“机器人到底会不会做”从单一实验室演示，推进到跨地点、跨本体的系统比较。它揭示了一个容易被忽视的事实：策略的能力高度依赖机器人形态、任务组合和是否经过适配，某一赛道上的冠军并不必然是另一赛道上的最佳选择。

这项工作也对评测设计提出了更高要求。若只看任务是否完成，许多接近成功、能够执行关键步骤的策略会被归为同一类失败者；加入部分进度后，研究者可以看到系统究竟卡在哪一步，以及不同策略之间的细微差异。此外，随着试验累积，开放赛道的排名趋于稳定；主动匹配还能够在较少实体试验下取得与均匀采样相近的排名一致性，有望降低真实机器人评测的成本。

不过，现有结果仍是初步研究，且开放世界任务的整体完成率并不理想。更大规模的参与网络、更丰富的任务和更成熟的安全与数据协议，仍是评估通用机器人智能必须解决的问题。

Hugging Face Daily Papers