Mosaic：让智能体强化学习学会管理多会话轨迹

随着大语言模型智能体开始执行更复杂的检索与推理任务，单条任务轨迹不再一定对应一个连续上下文。上下文压缩可以把较早的信息整理后重新开启会话，子智能体分叉则可能让多个执行分支并行探索。对训练算法而言，这意味着一条轨迹可能由数量不固定的多个会话组成，而传统智能体强化学习往往仍按照单会话轨迹进行建模。

从单会话假设到多会话训练

在多会话场景中，最直接的做法是把整条轨迹的结果优势广播给所有会话：任务成功，所有会话都获得正向信号；任务失败，所有会话都受到负向信号。这种方法实现简单，却忽略了两个关键问题：不同会话对最终结果的贡献并不相同，会话数量本身也代表了执行成本与探索策略。

Mosaic 将这一问题定义为 Multi-Session Agentic Reinforcement Learning，并提出一种不依赖独立评论家的分层优化方案，主要包括：

• 轨迹层优势调整：根据成功或失败子群中的相对会话使用情况修正结果优势，在鼓励探索的同时，将效率纳入训练信号。
• 会话层信用分配：通过答案真实标签的对数似然变化，估计单个会话带来的边际信息增益。
• 类型条件归一化：针对不同会话类型进行归一化，减少会话角色和执行形式差异对优势估计的干扰。
• 分层信号融合：将轨迹级结果信号与会话级贡献信号结合，为每个训练片段生成更细粒度的优势。

实验说明了什么

论文在 BrowseComp 深度网页研究任务上，使用 Qwen3.5-4B 和 ReAct 风格智能体循环进行评估，并覆盖上下文压缩与子智能体分叉两种执行方式。结果显示，Mosaic 相比把优势统一广播给所有会话的基线，在两类场景中都取得更好的表现，同时平均使用的会话数量更少。进一步分析将改进归因于更高的会话效用，以及更合理的会话分配。

这项工作的价值不只是提出一个新的优势计算公式，更在于重新定义了智能体强化学习中的“动作单元”。当会话可以被压缩、重启、拆分或并行调用时，训练算法需要同时回答“任务是否成功”“哪个会话带来了帮助”以及“是否值得继续分配会话”。Mosaic 提供了一个较清晰的优化框架，也提示未来的多会话智能体研究应把资源调度、上下文管理和信用分配放在同一目标下考察。不过，现有结论主要来自特定网页研究基准和模型配置，其方法在更多任务、模型规模及会话编排策略中的泛化能力，仍有待进一步验证。

来源：Hugging Face Daily Papers