SEED：让智能体从自己的轨迹中提炼“事后技能”

导语

在长程智能体任务中，大语言模型不再只是回答一个问题，而是要经历多轮交互、调用工具、观察环境反馈，并最终完成目标。结果导向强化学习为这类训练提供了直接路径：任务成功就奖励，失败就惩罚。但问题也很明显——奖励往往只在整条轨迹结束时出现，模型很难知道中间哪一步观察、推理或操作真正起了作用。

论文提出的 SEED（SElf-Evolving On-Policy Distillation）正是为了解决这一监督断层。它不是额外引入固定教师模型，而是让智能体从自己刚刚完成的轨迹中回看经验，提炼“事后技能”，再把这些技能对行为选择的影响蒸馏回当前策略。

核心要点

• 把轨迹变成技能：SEED 会先让策略模型学习分析完整轨迹，并生成自然语言形式的技能说明。这些技能可以是可复用流程、关键观察，也可以是避免失败的规则。
• 保持 on-policy 对齐：训练过程中，当前策略一边与环境交互收集轨迹，一边充当分析器提炼技能。因此，技能来源始终贴近模型当前会遇到的数据分布。
• 从稀疏奖励到密集信号：SEED 会在普通上下文和加入技能后的上下文中，对已采样动作重新打分。若技能显著提高某些动作的概率，这种概率偏移就被转化为 token 级蒸馏监督。
• 与结果型 RL 联合优化：蒸馏信号不是替代强化学习奖励，而是与 outcome-based RL 一起训练，使模型既学习最终成败，也学习中间决策的偏好。

意义与影响

SEED 的价值在于，它把“事后复盘”变成了训练时可持续更新的机制。随着策略变强，它生成技能的能力也会变化；而更好的技能又反过来改善后续决策，形成自演化闭环。

对于智能体强化学习而言，这种思路尤其重要。长程任务通常成本高、反馈少、错误链条长，单靠终局奖励很难高效学习。SEED 提供了一种把轨迹经验压缩成语言化中间知识的方法，使模型不仅知道“最后是否成功”，还更可能学到“为什么这一步值得做”。

根据论文摘要，SEED 在文本和视觉智能体任务上都带来了更好的性能与样本效率，并在未见场景中表现出泛化能力。后续值得关注的是，这类自生成技能在更复杂工具链、更长交互回合以及真实环境反馈中是否仍能稳定提供可靠监督。

来源：Hugging Face Daily Papers