AI会做计算,但能真正完成一项物理研究吗?
导语
让AI写出一段看似合理的物理推导,已经不再是最难的问题。更具挑战的是:它能否围绕一个明确的科学目标组织调查,找到必要证据,验证结果的适用条件,并最终给出足以支撑结论的答案?上海人工智能实验室等机构提出的PhysClosureBench,正是针对这一问题设计的评测基准。
从“做对一步”到“完成研究闭环”
PhysClosureBench包含50项经专家验证的研究任务,覆盖强场物理、阿秒物理及相邻领域。任务会给出研究目标和关键科学约束,但不会规定完整的解决路径。智能体需要自行安排调查过程,决定采用何种计算或分析,并判断哪些证据足以支持最终结论。
评测采用两层指标:
- Atomic Score:通过20项标准衡量局部科学工作,例如分析、计算或证据组织等方面的完成情况。
- Research Closure(RC0—RC4):衡量研究问题是否真正得到解决,重点检查不可缺少的证据是否齐备,以及结论是否满足适用范围等条件。
这种设计区分了“完成若干正确步骤”和“证明研究目标已经成立”。后者要求智能体把目标、证据、限制和结论连接起来,而不是只提交一组看起来专业的结果。
结果揭示明显落差
研究评估了七个前沿大语言模型。Claude-Opus-5的平均Atomic Score最高,为6.29/10,但达到RC4的尝试仅占32.7%。更值得注意的是,在Atomic Score至少达到8分的尝试中,仍有36.2%未能达到RC4。这说明局部表现优秀,并不能直接推导出完整、可靠的科学结论。
三轮测试还显示,七个模型在所有任务上达到RC4的数量,都明显少于它们至少一轮测试中的最高表现。模型的结果因此存在稳定性问题:一次成功闭合研究,不代表它能在重复尝试中持续完成同样的证据链。
意义与影响
案例分析指出,两个问题尤其容易阻断研究闭合:一是误读模型自己生成的结果,二是没有解决物理结论的适用边界。对科学智能体而言,真正的能力不只是生成公式、代码或解释,而是知道哪些证据仍然缺失、哪些条件尚未满足,以及何时应该谨慎收缩结论。
PhysClosureBench的价值在于,它把科学智能体评估从“答案像不像对的”推进到“研究是否有足够证据结束”。未来,面向科研的AI系统需要同时提升推理质量、证据规划、结果审查和不确定性表达能力,才能从高效助手进一步走向可信的研究协作者。
评论
正在确认登录状态……
正在加载评论……