CoPE：让语言智能体边行动边预测，减少长程强化学习浪费

导语

语言智能体要完成网页操作、工具调用或复杂环境任务，往往需要经历很长的交互轨迹。传统智能体强化学习通常只在任务结束时得到一个标量奖励：成功或失败。这种训练方式能够告诉模型结果好不好，却很难说明轨迹中的哪些动作真正有帮助。CoPE（Co-Evolving Acting and Forecasting for Language Agents）试图把这些被忽略的中间信息重新利用起来。

核心方法

CoPE 的关键不是再增加一个独立的价值模型，而是给策略模型加入“多步动作目标”。在成功的在线轨迹中，模型会看到某个历史，并学习预测该历史之后实际发生的动作序列。这样，同一条轨迹可以从多个时间位置提供监督：

• 从终点奖励扩展到中间动作：成功轨迹中的后续动作被转化为更直接的学习信号。
• 行动与预测共享骨干：模型既负责当前决策，也负责从此前历史预测未来动作，两个能力在训练中相互促进。
• 保持单步执行：推理时智能体仍然一次选择一个动作，不需要额外的预测模型，也不会增加执行流程的开销。

这一路线与逐步价值估计和下一观察预测有所不同。价值目标仍然通常来自同一个终端信号，而网页内容、终端日志等观察目标可能很长、噪声较多，并且通常只覆盖下一步。CoPE 直接预测动作序列，试图在监督强度、信息长度和任务目标之间取得更合适的平衡。

实验表现与意义

论文在 ALFWorld、ScienceWorld、WebShop、τ²-bench 和 AppWorld 五个基准上评估 CoPE，并将其与 GRPO 及带预测辅助目标的强化学习方法比较。结果显示，CoPE 在模拟环境中取得更强的总体表现，在面向真实应用的任务上也改善了整体结果；相较部分基线，其样本效率最高可达到约两倍。

这项工作的价值在于，它没有把长程智能体训练简单地归结为“收集更多轨迹”。更有效的方向可能是重新组织一条成功轨迹中已经存在的监督。通过让策略模型反复吸收“在这个历史之后应该如何继续”，CoPE 为稀疏奖励下的信用分配提供了另一种思路。当然，方法依赖成功的在线轨迹，成功样本的质量与覆盖范围仍可能影响训练效果；论文摘要未提供更细致的消融结果，因此其在不同任务分布中的适用边界仍需进一步观察。

Hugging Face Daily Papers