TRACE：给长程智能体的每一次工具调用分配信用

导语

多轮智能体在解决复杂搜索、浏览和工具调用任务时，往往要经历几十甚至上百次交互才给出最终答案。传统强化学习常用“最终答对或答错”作为奖励，但在这种长程场景下，最终结果很难准确说明中间每一步的价值：一次失败的轨迹里可能包含许多有效搜索动作，而一次成功也可能掩盖了大量冗余调用。

arXiv 新论文《TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents》聚焦的正是这个问题。作者提出 TRACE，希望在不额外训练 critic、不依赖过程标注的前提下，把最终答案监督转化为更密集的“轮级”奖励信号。

核心要点

• 问题：长程智能体的奖励过于稀疏。 对短推理任务来说，结果奖励通常足够有效；但当轨迹扩展到多轮工具调用时，单一成败信号会带来高方差，也容易把有帮助的中间动作一并惩罚。
• 方法：在工具调用边界建模状态转移。 TRACE 将一次 rollout 看作一系列状态变化，每个关键节点对应一次工具调用前后的上下文变化，从而为“哪一步让模型更接近答案”提供分析对象。
• 信号来源：冻结参考模型的答案概率。 方法会让冻结的参考模型评估在当前状态下生成标准答案的对数概率，并将其转换为 log-ratio 形式的状态价值。
• 奖励构造：用时序差分估计每步贡献。 每个动作的奖励来自相邻状态价值的变化。如果某次工具调用让标准答案在模型看来更容易被生成，它就会得到更正向的信用。
• 训练开销：无需额外 critic 或过程标签。 论文强调 TRACE 不需要单独训练价值模型，也不需要人工标注每一步是否正确，这使其更接近可扩展的后训练方案。

实验结果与观察

论文将 TRACE 应用于长程复杂搜索任务，并报告其能在纯强化学习设置下提升基础模型的工具使用能力。值得注意的是，作者称实验没有使用冷启动监督微调阶段、agentic mid-training 阶段，也没有用实时网页数据训练。

在 closed-web BrowseComp-Plus 基准上，论文给出的结果显示：Qwen3-4B 从 7.2 提升到 35.6，Qwen3-30B-A3B 从 8.4 提升到 42.6。摘要还提到，学到的搜索行为可以迁移到 open-web 基准，并且训练曲线表现出更早改善和更快收敛。

意义与影响

TRACE 的价值不在于提出一个新的工具调用框架，而在于尝试解决智能体强化学习中一个基础瓶颈：如何评价漫长轨迹里的中间动作。对于搜索型智能体、浏览器智能体和复杂工具链任务来说，最终答案固然重要，但训练时若无法区分“有用探索”和“无效绕路”，模型很容易学得慢、波动大，甚至错误惩罚正确策略的一部分。

如果论文中的结果能在更多任务和模型上复现，TRACE 代表了一条值得关注的方向：用已有参考模型提供更细粒度的信用估计，降低对人工过程标注和额外价值网络的依赖。这也说明，长程智能体的后训练不只是扩大数据和延长 rollout，更关键的是设计能解释中间过程价值的奖励机制。

来源：arXiv