MLE-World：让AI研究代理先预测，再运行机器学习实验

导语

AI 研究代理要自动改进机器学习程序，通常需要不断提出候选代码、实际训练模型，再查看日志和验证结果。问题在于，一次实验可能消耗大量计算资源，昂贵的执行成本会限制代理在每一步能够探索的方案数量。MLE-World 提出了一种更像“实验预演”的方法：在真正运行代码前，先预测它可能产生的结果。

核心要点

• 预测实验终点。 MLE-World 基于 Qwen3.5-4B 微调而成，输入候选程序代码和数据描述，输出可能出现的错误追踪、训练日志与验证分数。
• 同时评估可信度。 模型不仅给出预测，还提供一个置信度分数，用于估计预测是否可靠。对于低置信度候选，系统才更倾向于安排真实执行，以校正模型判断。
• 支持多种候选比较方式。 研究者设计了五类测试时扩展策略，包括顺序修订、Best-of-N、成对判断、融合，以及加入探索奖励的 UCB 风格规则。它们都利用预测结果，在较低成本下比较更多候选方案。
• 预测准确率高于大模型提示方案。 在 17 个 MLE-bench Lite 任务的留出程序上，MLE-World 与真实终端输出的匹配率为 77.9%；作为对照的、更大规模提示式模型为 41.1%。
• 减少真实实验依赖。 由 MLE-World 引导的测试时扩展，在观测平均性能上最高比没有世界模型的代理高 22.1%，同时执行更少的真实实验。

意义与影响

这项工作把机器学习代码代理的瓶颈，从“每个想法都必须运行”转向“先用模型筛选，再把计算资源投入更值得验证的候选”。它并不是要完全替代训练和评估，而是用低成本预测承担第一轮比较，并通过置信度机制决定何时必须回到真实环境。这种设计尤其适合需要反复试错的自动化机器学习研究场景。

不过，终端输出预测本质上仍可能出错，模型的判断不能被视为实验事实。MLE-World 的价值正在于把不确定性纳入策略：高置信度结果用于扩大探索，低置信度结果触发实际验证。更广泛地看，它展示了世界模型在 AI 研究代理中的一种实用路径——预测行动后果，并据此分配有限的执行预算。

来源：Hugging Face Daily Papers