FrontierCS 2：把计算机科研能力变成可验证的代码提交

导语

衡量编程智能体，不能只看它能否根据一道题写出程序。真正的计算机科学研发往往意味着理解已有系统、提出改进方案、修改复杂代码，并在多个指标和工作负载上同时取得可靠结果。FrontierCS 2 试图把评测从“一次性写代码”推进到更接近科研现场的环境中。

核心要点

• 以真实论文和代码为起点。 基准任务来自计算机科学研究论文及其开源实现。研究者删除原论文中的关键贡献，并将被删除的代码作为人类参考答案，用来定义任务上限和比较标准。
• 允许持续研发，而非一次提交。 智能体继承一个可以运行的代码仓库，可以在过程中多次提交补丁。每次提交后，评测器会返回开发测试套件得分，帮助智能体判断方向，但最终评测集、参考实现和完整评估细节保持私有。
• 覆盖范围更接近真实系统研发。 48 个任务横跨 13 个领域，包括机器学习系统、高性能计算、数据库、安全和机器人等。另有超过 100 个任务处于未公开状态，未来将公布。
• 通过率仍然有限。 研究团队评估了 12 个智能体，其中 Claude Opus 5.5 表现最好，运行通过率为 58%。然而，16 个任务没有任何一次运行通过，说明不少问题并非靠偶然生成一份可运行代码就能解决。

为什么“超过参考实现”仍不等于通过

FrontierCS 2 特别强调了多指标评估的必要性。某次运行即使在合并后的最终分数上超过参考实现，也可能在某个具体指标或工作负载上失败。因此，平均分或单一排行榜名次不能完整代表研发能力。对于需要兼顾性能、正确性、资源消耗和不同输入场景的系统任务，“局部更优”并不等价于完成任务。

这也解释了为什么该基准比传统开放式编程测试更难：智能体不只需要生成代码，还要从反馈中定位瓶颈，理解代码库的隐含约束，并选择值得投入的实验方向。隐藏评测则降低了针对公开测试集过拟合的可能性。

意义与影响

FrontierCS 2 的价值在于重新定义了“AI 能否做科研”的可测边界。它没有把科研贡献简化为一段孤立程序，而是考察智能体在连续开发环境中的决策、实验和工程整合能力。结果显示，当前最佳智能体已经能够在部分任务上达到人类参考水平，但能力分布并不均衡：中位数任务的难度大致接近最强智能体能够处理的范围，仍有大量任务无法稳定解决。

对模型开发者而言，这类基准提示训练重点需要从代码生成扩展到长期规划、实验管理和跨指标优化；对使用者而言，智能体在个别任务上的高分不能直接推导出其具备独立完成前沿研发的能力。未来，公开任务与私有任务的持续扩充，也将帮助研究者观察这些能力是否真正泛化。

来源：Hugging Face Daily Papers