会做不等于会教:长程智能体中的决策模型三种角色
导语
在长程任务中,智能体既要选择下一步行动,也要判断已经执行的步骤是否有价值,还可以为其他策略提供训练信号。这三件事看似都依赖同一种“决策能力”,但一项新研究指出:模型在行动阶段的能力,未必能代表它作为评判者或教师的价值。
研究者将决策模型放入三个角色中考察。作为 Actor,模型根据当前状态选择行动;作为 Judge,模型在完整轨迹出现后评价已经执行的动作;作为 Teacher,模型为每个候选动作打分,并把这些分数转化为强化学习中的逐步反馈。实验覆盖 ALFWorld,并在教师实验中进一步使用 WebShop。
核心发现
- 行动容易被“更简单的目标”带偏。 在 ALFWorld 中,三种决策模型和三种通用大语言模型作为 Actor 时,都会倾向于处理一个更容易完成的子目标,而跳过必须先完成的前置子目标。这说明短视的行动选择可能让模型忽略长期依赖关系。
- 看到完整轨迹后,判断能力明显不同。 当模型作为 Judge,能够回顾整个任务过程时,它们可以识别哪些步骤真正推动了前置目标。事后信息让模型不再只能依据当下的表面收益进行判断。
- 评价“动作是否有帮助”比预测“任务是否成功”更有效。 研究发现,直接询问某一步是否促进了任务进展,比让模型预测整条轨迹最终能否成功,更能区分有用动作与无效动作。
- 弱 Actor 仍可能成为好 Teacher。 研究提出的 JEV 为每个步骤提供反馈,并用于训练 Qwen2.5-1.5B 策略。相较 GRPO,ALFWorld 成功率从 72.8% 提升至 82.9%,WebShop 则从 56.8% 提升至 71.4%。
意义与影响
这项工作提示,评价智能体模型不能只看最终执行成功率。行动者必须在信息不完整的情况下预测未来后果,而评判者可以利用已经发生的结果进行反事实式判断,因此两者面对的难度并不相同。一个模型可能不擅长规划下一步,却能准确指出某一步为什么有效或无效。
对长程智能体训练而言,这一结论具有直接意义:教师模型不必首先成为最强执行者,更重要的是能否提供稳定、细粒度且与任务进展相关的反馈。与此同时,研究也提醒我们,事后评价并不自动等于可靠监督,反馈是否真正对应中间目标、能否迁移到更复杂环境,仍需要更多验证。整体来看,Actor、Judge 与 Teacher 应被视为可以分别优化的能力,而不是同一性能指标下的三个名称。
评论
正在确认登录状态……
正在加载评论……