MLExpert：让智能体自主规划和优化机器学习实验

导语

让大模型写一段训练代码并不难，难的是让它像一名机器学习工程师一样，在有限资源和反复试验中不断修正方案：选择数据处理方式、调整模型结构、运行实验、读取结果，再决定下一步做什么。MLExpert 关注的正是这一类长周期、强反馈的工作流。

这项工作提出了一个 35B 混合专家（Mixture-of-Experts）智能体模型，并围绕自主机器学习工程设计了一套后训练方法。模型不再主要依赖人工编排的固定流程，而是通过工具交互直接根据执行结果组织后续优化。

核心要点

• 用可执行任务训练智能体。 研究团队构建了 Kaggle-MLE Factory，用于生成机器学习工程任务，并提供模型可以实际调用的交互环境。模型需要围绕任务编写代码、运行实验，并根据结果继续行动。
• 分层智能体监督微调。 Hierarchical Agentic SFT 将通用的工具使用和编程能力迁移到机器学习工程场景，同时根据实验结果筛选更有价值的监督信号，减少长轨迹中无效步骤的影响。
• 用“交互窗口”分配强化学习奖励。 Windowed Interaction RL（WIRL）把两次实验结果之间的多轮决策视为一个执行窗口，并将共享的结果导向奖励分配给窗口内的行动。这样，模型不必等到整个长流程结束后才获得学习信号。
• 支持未完成轨迹中的更新。 异步数据收集和策略校正使训练可以在完整轨迹结束前推进策略更新，针对长时间、成本较高的实验流程提高训练效率。
• 基准结果出现明显提升。 在 MLE-Bench Lite 上，MLExpert 将基础模型的平均奖牌率从 37.9% 提升到 72.7%，达到与更大规模前沿模型相当的水平。论文还报告了其在 NatureBench Lite、智能体脚手架优化和算法优化任务上的进一步实验结果。

意义与影响

MLExpert 的价值不只是增加了一个用于写代码的模型，而是把机器学习工程视为一个持续决策问题。传统监督学习更容易处理单轮输入和输出，但真实实验往往包含多个相互依赖的选择：一次数据处理决策可能影响后续训练结果，而一次失败实验也可能为下一轮搜索提供信息。WIRL 试图在这类复杂因果链中找到更合适的信用分配方式。

从 AI4AI 的角度看，这种模型指向了“模型帮助开发和改进模型”的工作模式。它可能降低机器学习实验的自动化门槛，并把研究人员从部分重复性的试验编排工作中解放出来。不过，论文给出的结果主要来自特定基准和实验环境，模型在开放世界任务中的稳定性、资源消耗、错误恢复能力以及实验结论的可靠性，仍需要更多验证。自主优化能力能否在不同领域持续迁移，也不能仅凭当前结果下定论。

如果这一方向继续发展，竞争重点或将从“模型能否生成代码”转向“模型能否管理一系列代价高昂且相互关联的实验”。

来源：Hugging Face Daily Papers