返回文章列表
AI 智能体

会做不等于会教:长程智能体中的决策模型三种角色

阅读约 2 分钟

导语

在长程任务中,智能体既要选择下一步行动,也要判断已经执行的步骤是否有价值,还可以为其他策略提供训练信号。这三件事看似都依赖同一种“决策能力”,但一项新研究指出:模型在行动阶段的能力,未必能代表它作为评判者或教师的价值。

研究者将决策模型放入三个角色中考察。作为 Actor,模型根据当前状态选择行动;作为 Judge,模型在完整轨迹出现后评价已经执行的动作;作为 Teacher,模型为每个候选动作打分,并把这些分数转化为强化学习中的逐步反馈。实验覆盖 ALFWorld,并在教师实验中进一步使用 WebShop。

核心发现

  • 行动容易被“更简单的目标”带偏。 在 ALFWorld 中,三种决策模型和三种通用大语言模型作为 Actor 时,都会倾向于处理一个更容易完成的子目标,而跳过必须先完成的前置子目标。这说明短视的行动选择可能让模型忽略长期依赖关系。
  • 看到完整轨迹后,判断能力明显不同。 当模型作为 Judge,能够回顾整个任务过程时,它们可以识别哪些步骤真正推动了前置目标。事后信息让模型不再只能依据当下的表面收益进行判断。
  • 评价“动作是否有帮助”比预测“任务是否成功”更有效。 研究发现,直接询问某一步是否促进了任务进展,比让模型预测整条轨迹最终能否成功,更能区分有用动作与无效动作。
  • 弱 Actor 仍可能成为好 Teacher。 研究提出的 JEV 为每个步骤提供反馈,并用于训练 Qwen2.5-1.5B 策略。相较 GRPO,ALFWorld 成功率从 72.8% 提升至 82.9%,WebShop 则从 56.8% 提升至 71.4%。

意义与影响

这项工作提示,评价智能体模型不能只看最终执行成功率。行动者必须在信息不完整的情况下预测未来后果,而评判者可以利用已经发生的结果进行反事实式判断,因此两者面对的难度并不相同。一个模型可能不擅长规划下一步,却能准确指出某一步为什么有效或无效。

对长程智能体训练而言,这一结论具有直接意义:教师模型不必首先成为最强执行者,更重要的是能否提供稳定、细粒度且与任务进展相关的反馈。与此同时,研究也提醒我们,事后评价并不自动等于可靠监督,反馈是否真正对应中间目标、能否迁移到更复杂环境,仍需要更多验证。整体来看,Actor、Judge 与 Teacher 应被视为可以分别优化的能力,而不是同一性能指标下的三个名称。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
多模态智能体为何难以跨场景自我进化?一项综述的系统分析
AI 智能体
cctest.ai
AI 智能体

多模态智能体为何难以跨场景自我进化?一项综述的系统分析

一项最新综述比较了多模态推理、生成、GUI/Web 导航和具身操作四类场景,试图解释自我进化机制为何常常只能在原场景中有效。研究将问题归因于反馈质量、可生成经验数量及任务结构资源之间的不匹配。

阅读全文