机器人策略在仿真基准中的成功率,通常由一段手写代码来决定。但“代码接受了专家示范”并不等于“代码准确理解了任务”:学习策略可能只完成部分步骤,也可能用不同于示范的方式完成指令。判定器因此会出现两种相反的错误——把没做完的任务判成成功,即“虚假成功”;或拒绝实际上满足要求的执行,即“静默失败”。这类偏差会让基准分数偏离策略的真实能力。
论文提出 SimAudit,用大语言模型辅助审查任务指令与判定器代码。流程不是只检查代码写法,而是先从指令和代码中寻找可能产生分歧的情形,再在仿真环境中重现这些状态、运行原有判定器,并利用多视角渲染画面检查行为是否符合任务要求。视觉模型在这里用于筛选潜在问题,而非被当作最终真值;研究者还说明,报告的缺陷均由两名人工标注者独立核验。人工核验中没有发现视觉筛查误把正确判定推翻的案例,但这不意味着视觉模型不会出错。
核心结果:
- 在 RoboTwin 2.0、RoboCasa365 和 RoboDojo 的测试中,183个模拟测试案例产生了预期的判定结果。
- 经视觉核验与去重后,研究确认了49项任务中的61个不同缺陷:40个虚假成功,21个静默失败。
- RoboCasa365 的缺陷以接受未完成执行为主;RoboDojo 的问题更多是拒绝有效执行;RoboTwin 2.0 中两类错误都较常见。
这些数字不是三个基准整体错误率的估计,而是审计流程在所构造测试案例中找到的缺陷。它们揭示的关键问题是:只用专家示范验证判定器,覆盖范围可能不足。若规则只认一种完成轨迹,等价的替代方案可能被误判;若规则只检查少数状态条件,未完成执行也可能蒙混过关。因此,更稳妥的评估应同时构造“尚未完成”的反例,以及“完成了但路径不同”的有效案例。
对机器人研究而言,这项工作把注意力从策略本身扩展到测量工具:成功率并非天然客观,它依赖任务定义与判定逻辑是否一致。SimAudit展示了一种系统化寻找漏洞的办法,但发现的缺陷并不能直接说明某个策略表现如何,也不能替代人工判断。基准开发者若把判定器测试纳入发布与维护流程,才能更可靠地解释分数,并减少不同策略比较受到标签错误的影响。
评论
正在确认登录状态……
正在加载评论……