TreeOPSD：用树结构与后验蒸馏改进长程智能体强化学习

导语

让大语言模型成为能够持续检索、推理和执行任务的智能体，难点并不只在于生成某个正确答案。一次完整交互可能包含多轮行动，最终奖励往往要到任务结束后才能获得。如何判断中间哪一步真正推动了成功，以及如何在同一批轨迹上进行多轮更新而不让训练目标失真，成为长程智能体强化学习的关键问题。

TreeOPSD（Tree-Aware Posterior Distillation）试图同时处理这两个问题。它不依赖额外的价值网络、逐步奖励标注或更强的外部教师，而是利用 rollout 中的分支结构构造一种自蒸馏训练机制。

核心方法

• 把交互过程组织成树。 每个交互轮次被视为一个节点。对于共享前缀，方法采样不同的后续行动，从而比较同一上下文下的多条可能路径，而不是只看一条完整轨迹。
• 递归回传终局奖励。 终局结果沿树结构向前传播，形成隐式的逐轮信用。这样，只有终点可验证的奖励也能为早期行动提供相对密集的训练信号，同时保留树策略梯度所需的结构信息。
• 构造有界教师分布。 TreeOPSD根据每个轮次相对于冻结行为策略的似然比，以及回传得到的信用，计算闭式的教师分布。该分布不是无限制地放大高回报动作，而是把更新引向一个有限目标。
• 通过前向 KL 进行自蒸馏。 学生策略拟合这一路径相关的教师分布。在行为策略附近，这个目标的切线方向与树策略梯度一致；随着连续 mini-batch 更新进行，教师分布的有界性则帮助限制策略偏移。

实验与意义

论文在多跳问答和深度研究基准上进行评估，覆盖从 1.7B 到 30B-A3B 的模型规模。在匹配 rollout 预算的条件下，TreeOPSD整体优于 GRPO、GSPO 以及采用固定信用的树策略梯度基线。摘要特别报告了 Qwen3-30B-A3B-Thinking-2507 在深度研究设置下平均提升 4.97 分。

这一思路的价值在于，将信用分配和策略稳定性放进同一个目标中处理。传统的重要性采样或比率裁剪能够抑制行为策略与当前策略之间的偏差，但通常只规定更新不要走得太远，并没有明确告诉训练何时应当停止。TreeOPSD则尝试通过有界的后验教师，为连续更新提供有限的吸引目标。

当然，方法仍依赖树状分支采样以及可验证的终局奖励；分支数量、共享前缀和任务成本之间如何权衡，也会影响实际效率。总体而言，TreeOPSD为长程 agentic RL 提供了一条不增加评论家和外部教师的路线，尤其适合研究多轮信用分配与离策略更新稳定性的结合。

来源：Hugging Face Daily Papers