Athanor：让智能体自主完成大模型后训练研究

导语

让 AI 参与训练更强的 AI，通常被视为递归自我改进的早期形态。Athanor 研究的不是宏大的“超级智能”命题，而是一个可以在今天被测量的问题：前沿智能体能否使用公开数据，独立把一个小型基础模型后训练成通用助手？

核心要点

• 研究流程交给智能体。 Athanor 为智能体提供沙箱、真实 GPU、任务管理、冻结评测、去污染数据和持久化实验记录。智能体需要自行阅读数据与评测结果，构造训练集，编写或修改训练代码，选择超参数，并决定下一轮实验。
• 限制外部捷径。 实验中的智能体不能调用外部教师模型，使用的是公开数据和自身的研究循环。系统还设置了智能体事先不知道的隐藏评测集，用来观察性能是否只是针对开发集过拟合。
• 成绩显著提升。 在 104 小时实验中，四个 Claude Opus 5.5 智能体分别使用一台八 GPU 节点，协作后将 Qwen3-4B-Base 在六项开发任务上的平均成绩从 15.9 提升至 67.3；隐藏集则从 9.2 提升至 48.2。作为参照，官方 Qwen3-4B-Instruct-2507 的对应成绩为 66.5 和 47.9。
• 关键并非凭空发明。 论文记录显示，智能体主要通过重组已知方法实现进步，包括利用公开推理数据进行监督微调、开展强化学习，以及吸收某个智能体引入的 rollout 改动和彼此训练出的模型。

意义与边界

Athanor 的价值首先在于把“AI 能否做研究”转化成了可复现实验：研究对象不只是聊天表现，而是数据、代码、训练、评测和决策组成的完整闭环。结果表明，当前前沿智能体已经能够在相对宽松但受控的环境中承担一部分后训练工程与实验设计工作，并将基础模型提升到接近甚至略高于官方指令版本的水平。

但这项工作不应被解读为智能体已经取代模型研究者。实验依赖既有训练技术、限定规模的模型和公开数据，且摘要披露的主要成果集中在一次 104 小时 campaign。它证明的是自主组合、执行和迭代能力，而不是智能体已经稳定地产生全新的学习范式。未来更关键的检验包括跨模型、跨任务和多轮实验的可重复性，以及智能体能否在更少人工设定下发现真正有效的新方法。

如果这一方向持续发展，后训练系统可能从“人类编排工具”逐步转向“智能体驱动的研究工作台”。Athanor 提供的正是这种转变的一个早期、可测量样本。

来源：Hugging Face Daily Papers