AI科研代理的真实进展：会调模型，离做科学还差多远？

导语

当编码代理被描述为“自动化研究员”时，真正困难的并不是让它写出训练脚本，而是判断它能否提出有价值的问题、识别领域约束，并在有限资源下设计有说服力的实验。科学机器学习正好提供了这样的检验场：模型效果的提升往往不只依赖调参，还需要理解数据、任务和科学背景。

论文提出 Agent4Sci，把前沿代理置于更接近实际研究的长周期环境中，考察它们能否超越科学机器学习基准上已经发表的最佳模型。

核心要点

• 测试覆盖20个基准和11个领域，目标不是建立一个简单的代理排行榜，而是观察代理究竟通过什么方式取得进展。
• 参与评估的前沿代理都在每个基准上推进了已发表的最佳结果。其中，Claude Opus的平均相对提升为10.4%，Codex为4.4%。
• 轨迹分析表明，性能增长主要来自学习率、架构、数据处理等机器学习工程技巧，而不是对科学问题产生了真正的新洞察。
• 代理反复表现出三类局限：对方案新颖性的判断不准，计算和实验资源利用不足，以及很快陷入局部工程搜索。
• 研究者加入研究构思、实验管理和定期检查等轻量级技能后，Claude Opus的平均提升达到20.1%，Codex达到8.1%，同时产生了更多样、也更贴近领域的干预方案。

这意味着什么

Agent4Sci最重要的价值，不是证明代理已经能够独立做科学，而是把“会不会科研”拆成了可观察、可比较的过程。一个代理可以在基准上刷新分数，却仍然只是围绕现有方案做高效搜索；这与提出新假设、发现关键变量或解释异常现象，是不同层次的能力。

研究结果也说明，代理的短板未必只能依靠更大的基础模型解决。把构思、记录、资源调度和阶段性复盘嵌入工作流，能够明显改善探索范围。不过，这类插件带来的提升仍不能等同于领域知识本身。未来评估需要继续关注结果是否可解释、实验是否可复现，以及代理能否在陌生问题上迁移经验。

从这个角度看，科学代理的下一阶段并非单纯追求更高分数，而是让系统从“自动化机器学习工程师”逐步走向能够提出、检验并修正科学想法的研究伙伴。

来源：Hugging Face Daily Papers