AutoSFT：让多智能体自动研究监督微调数据配方

导语

在后训练流程中，训练器、模型和计算预算固然重要，但数据配方往往决定了监督微调的上限。传统自动化方法通常只让代理从固定数据池中挑选样本，或调用生成器补充数据；而数据工程师实际会同时调整类别比例、删除低质样本、修复错误、替换数据，并针对能力缺口合成新样本。如何让智能体覆盖这组更完整的数据操作，是 AutoSFT 试图回答的问题。

核心方法

AutoSFT 将监督微调视为一个可迭代的数据研究过程。系统保持基础模型、训练器和预算不变，由多智能体共同设计下一轮数据配方：

• 元代理负责拆解任务：它协调实验执行、结果分析和候选方案汇总，而不是让一个代理包办所有工作。
• 执行与分析分离：执行代理运行数据处理和训练流程，分析代理根据评测结果寻找问题及改进方向。这样可以避免大量执行输出持续占据上下文。
• 多角度提出方案：独立分析子代理分别审视训练结果，提供不同的数据调整建议。
• 引入合成代理：当现有数据池无法覆盖目标能力时，系统可以生成新的监督样本，而不局限于重排已有数据。
• 每轮重新训练：实验从基础模型重新开始训练，使不同组件的效果能够被单独归因，而不是被前几轮模型状态混淆。

研究者首先测试了单代理方案。结果显示，单一代理很快集中到“调整类别比例”这一种动作；同时，执行输出会填满上下文，导致搜索过程中的有效信息被丢弃。AutoSFT 的结构化协作正是针对这两个瓶颈设计的。

实验结果

逐步加入系统组件后，执行器将上下文损失降低约一半；分析子代理使最佳 IFEval 提升 6.5 分；合成模块进一步带来 3.4 分的 IFEval 提升和 2.9 分的 IFBench 提升。在代码任务上，同一套研究循环也能迁移使用：加入分析能力后，相比不会继续改进的单代理基线，MBPP+ 提升了 3.7 分。

这些结果的重点并不只是某个指标的增幅，而是说明“自动后训练”不能简单等同于让一个大模型反复改数据。数据研究需要把实验执行、证据分析、方案搜索和能力补齐组织成闭环。

意义与局限

AutoSFT 展示了一条从自动调参走向自动数据工程的路径。它把数据配方当作研究对象，使代理能够在固定训练条件下探索更丰富的动作空间，也为代码等不同任务提供了可迁移的框架。

不过，素材并未给出完整的模型、数据规模、运行成本、各数据动作的详细定义或更广泛的泛化实验。因此，当前结论更适合被理解为多智能体数据研究机制的实证信号，而不是已经成熟的通用后训练系统。未来仍需检验其在不同基础模型、任务和预算下的稳定性，以及合成数据质量与自动评测之间可能存在的偏差。

来源：Hugging Face Daily Papers