返回文章列表

Mind2Act World:把机器人“会想”与“会做”分开测

阅读约 2 分钟

机器人能否完成操作任务,不只取决于它是否理解指令。它还要结合此前观察作出判断、准确及时地控制动作,并根据动作造成的环境变化调整下一步计划。若只看任务最终成功与否,推理失误、执行不准和二者衔接不畅可能被混为一谈。Mind2Act World正是为拆分这些问题而设计的模拟诊断基准。

基准包含30项操作任务,来自五类现实应用领域。每项任务设有三个难度等级,并提供Clean与Random两种场景设置,共形成180种配置。研究将任务组织成三个评测视角:

  • Mind:依据过去的观察作出决定,重点看系统能否利用历史信息进行认知推理。
  • Act:检验动作是否精确、及时,关注物理执行能力。
  • Mind2Act:在闭环任务中把推理与执行结合起来,系统需要观察动作结果,并据此决定后续行动。

这种拆分的价值在于提供比较依据:如果系统在Mind和Act上都能完成对应测试,却在Mind2Act中失利,问题可能不是某一项能力完全缺失,而是能力组合或反馈利用出了差错。论文还介绍了诊断工具,对三个代表性系统的失败回合归因到Mind、Act或二者组合,并汇总成系统画像卡。摘要称,评测覆盖多模态智能体、视觉语言动作模型(VLA)和世界动作模型(WAM);单一视角中的能力并不会自动迁移到Mind2Act任务。现有材料没有提供各模型的具体分数或排名,因此不能据此判断哪类模型整体领先。

这项工作的意义,是把“机器人失败了”进一步拆成可检验的问题,让后续改进更有针对性:是需要更好的历史推理、更稳定的控制,还是更有效的闭环决策。它也提醒研究者,分项能力测试不能替代完整交互评估。不过,Mind2Act World目前描述的是模拟基准;基准成绩能否对应真实机器人在现实环境中的可靠性,仍需要进一步验证。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
ZeroVLN:让视觉语言模型用自然语言指挥导航,而非重训其“大脑”
机器人与物理 AI
cctest.ai
机器人与物理 AI

ZeroVLN:让视觉语言模型用自然语言指挥导航,而非重训其“大脑”

ZeroVLN 将导航决策与连续动作执行拆分:视觉语言模型通过自然语言工具调用表达移动意图,再由动作专家负责落地执行。论文称,该方法无需对模型大脑进行导航领域监督微调,并在三个基准上超过所比较的分层导航方法。

阅读全文