ParetoRSI-Gym：让AI代理在多领域迭代改进语言模型

导语

递归自我改进（RSI）的关键，不只是让模型生成更好的答案，而是让一个代理能够参与“寻找数据—训练模型—读取结果—调整策略”的完整循环。现有不少评测往往只看一个基准分数，代理可以从固定数据池中挑选样本，或通过蒸馏推动单一指标上升。但真实的模型后训练通常同时涉及多个能力领域：数学变强，可能伴随代码能力下降；金融任务提升，也不代表医学知识得到改善。

ParetoRSI-Gym正是针对这一缺口提出的评测环境。

核心要点

• 把后训练变成多轮闭环。 代理需要自行搜索和整理数据，启动训练，读取各领域结果，再决定下一轮的数据策略。
• 尽量固定实验变量。 初始语言模型、五个领域、工具集和监督微调（SFT）流程保持不变，主要变化来自代理选择的数据。
• 同时考察五类能力。 任务覆盖数学、代码、金融、医学和科学，要求系统处理跨领域的收益权衡，而非只追逐一个榜单分数。
• 区分真实提升与过拟合。 除了代理直接优化的代理指标，研究还设置了各领域的泛化基准，用于检查模型是否能迁移到未用于决策的评测任务。
• 提升并非只由底层模型决定。 在三个代理系统、三个基础模型、五轮迭代和多个随机种子的实验中，Claude Code搭配Opus-5的设置表现最好：其代理选择的最佳检查点，在五个领域等权平均后，泛化成绩较起始模型相对提升9.2%，绝对提升2.3个百分点。单领域最高相对提升为63%，出现在Ministral-3-3B的医学任务上。

这项工作意味着什么

首先，ParetoRSI-Gym把“代理能否改进模型”从一次性数据选择问题，推进成了连续的工程决策问题。代理必须面对数据质量、领域覆盖和指标冲突，而不是简单地扩大某个分数。其次，泛化评测让结果更接近实际后训练：如果模型只记住了代理用来挑选数据的信号，却没有获得更广泛的能力，独立基准应当暴露这一点。

研究还指出，执行代理的harness（包括工具、反馈组织方式和迭代流程）与代理本身同样关键。不同代理最终形成了各自独特的数据选择策略，这意味着未来比较系统时，不能只比较底层模型名称，也需要公开并分析它们如何观察结果、规划训练和调整数据。

当然，这项工作衡量的是固定SFT管线下的数据驱动改进，并不等同于完整的递归自我改进。它更像一个可控的起点：先把代理在多领域后训练中的决策能力测清楚，再进一步研究训练配方、评测环境乃至整个改进框架是否也能被代理优化。

来源：Hugging Face Daily Papers