MPO：让长程LLM智能体按“回合”而非单个Token学习

长程LLM智能体的训练难点，不只是让模型生成正确答案，还要判断一条持续数十轮的交互轨迹中，究竟是哪一步促成了成功或失败。传统强化学习通常以Token为基本单位计算优势并更新策略，但智能体的一次完整行动往往是一个助手回合：模型可能先解释计划，再生成参数，最后发起工具调用。若工具参数出错，单纯的Token级归因容易把惩罚平均扩散到整个回合，无法清楚区分关键错误与本来正确的生成部分。

这正是论文提出Multiscale Policy Optimization（MPO）的背景。作者观察到，评论家价值主要在不同助手回合之间发生变化，而同一回合内部的价值变化相对有限。因此，MPO把回合作为策略优化的锚点，同时在回合内部继续进行更细粒度的Token信用分配。

核心机制可以概括为两部分：

• 多尺度优势估计（MAE）：在回合层面捕捉一次行动对后续结果的影响，并在Token层面保留必要的局部差异。
• 回合级重要性采样：让策略比率的计算与回合级更新相匹配，减少长轨迹中信用尺度不一致带来的训练噪声。

这种设计并不是简单地用回合标签替换Token标签，而是试图同时解决“应该惩罚哪一个行动”和“应该如何在行动内部分配责任”两个问题。对于工具调用、网页搜索和自动化流程而言，回合往往对应一个具有语义完整性的动作单位，因此更贴近实际执行结构。

论文报告称，MPO在搜索、工具使用和自动化任务上均优于强强化学习基线，并在4B和30B-A3B模型上观察到一致收益。素材中披露的讨论还提示，单独采用回合级信用分配可能已经带来明显效果，而加入Token级细化后仍能进一步提升表现。不过，这些结果仍需要更多随机种子、不同回合长度和更广泛任务设置来检验稳定性。

从应用角度看，MPO的价值在于为长程智能体提供了一个更符合交互结构的训练尺度。它也提出了新的工程问题：当工具调用和文件读取的回合长度差异很大时，重要性采样比率是否需要重新校准；随着策略持续变化，评论家价值是否仍能保持可靠。未来，回合级价值还可能被用于推理时异常检测、失败回合重试或触发人工复核，但这需要额外的校准证据支持。

来源：Hugging Face Daily Papers