R²Orch：让智能体编排在自博弈中递归改进

导语

复杂任务中的智能体往往不只是调用一个模型，而是要决定何时分解问题、选择哪些工具、如何分配子任务，以及怎样整合多个步骤的结果。这类“编排器”通常依赖人工设计的训练课程和技能库。R²Orch（Recursive Self-Play Orchestration）提出了另一条路线：让编排器自己挑选任务，在自博弈中学习，并进一步学习“如何让自己学得更好”。

核心机制

• 双层自改进循环：内层循环运行自博弈，训练编排器解决 Proposer 选出的任务；外层循环则优化任务选择和技能管理方式。由此，任务生成不再完全依赖人工课程。
• 递归可学习性：Proposer 并不是简单寻找当前最难的题目，而是选择那些在撤回已有技能后，仍可能产生不同结果的任务。结果差异意味着系统仍有改进空间，也能避免所有 rollout 得到相同结果时出现的优势坍缩。
• 技能撤回：当受控评估显示编排器不再依赖某项技能时，外层循环将其撤回。撤回不是单纯压缩组件，而是主动制造新的能力缺口，促使 Proposer 寻找新的失败案例。
• 从失败到参数：系统把失败经验提炼成技能，再将技能内化到模型参数中；技能被撤回后，新的失败又成为下一轮学习材料，形成持续循环。

实验结果与边界

论文在问答、数学、代码和交互任务的十二个数据集上进行实验。素材显示，在零技能设置下，9B 编排器在十二项基准中均取得最佳结果；相较最强基线，分布内平均分由 86.0 提升至 89.8，分布外平均分由 76.1 提升至 78.8，AIME 2026 的结果则由 74.0 提升至 81.3。这些数字是论文报告的实验结果，仍需要结合完整论文中的训练成本、基线配置和复现实验进一步判断方法的普适性。

意义与影响

R²Orch 的价值不只在于增加一个新的自博弈算法，而在于重新定义了智能体训练中的“课程”：最有价值的任务，可能不是固定难度最高的任务，而是能在能力撤回后继续暴露差异、产生新失败的任务。若这一思路能够稳定扩展，它有望减少对人工技能编排的依赖，并推动智能体从“携带越来越多外部技能”转向“将能力逐步内化到参数中”。不过，零技能部署的实际成本、撤回策略对训练稳定性的影响，以及在更开放任务中的迁移能力，仍是后续需要检验的问题。

来源：Hugging Face Daily Papers