AI科研能力迎来硬考:SPU基准让模型预测真实湿实验
AI for Science正在从“会不会分析论文”走向“能不能在实验前做出靠谱判断”。UniPat AI牵头推出的Science Prediction Universe(SPU),把真实湿实验结果藏在模型面前,让模型先根据实验条件预测不同方案的结果排序,再用实测数据进行检验。
这套基准考什么
SPU目前包含116项任务:100项来自85篇公开论文,16项来自尚未发表的合作实验,覆盖化学、材料科学、生物学和医学等领域,共涉及4207个湿实验。任务并非简单地让模型回答知识题,而是要求模型理解研究目标,自主检索文献、选择计算方法、安装科研软件,并在8小时、8核CPU、16 GiB内存和一块H20 GPU的条件下提交预测。
为减少“背过答案”的影响,模型在独立环境中接受评测,不能直接检索原始实验结果。最终评分采用Spearman相关系数,衡量模型给出的排序与真实实验结果是否一致;系统还通过大量随机排序建立参照线,判断模型是否真正超出随机表现。
前沿模型表现并不乐观
首轮测试覆盖12款模型、13种配置。平均成绩最高的Claude Opus 5.5为0.486,但各配置中只有约34%至52%的任务超过随机水平。换句话说,模型可能具备快速查找资料和运行程序的能力,却还没有稳定形成可靠的实验判断。
结果还揭示了“任务类型”对成绩的影响。某些电解液任务中,模型对离子电导率的预测相关性达到较高水平,但面对同一批材料的电化学窗口预测时,成绩可能跌至随机水平以下。模型是否擅长某个学科,并不足以说明它能否处理某一种具体测量目标。
算力增加不等于判断变好
SPU最值得关注的发现之一,是更高推理强度没有带来明显收益。以GPT-6 Astra为例,最高推理强度的运行时间中位数增加到中等强度的约4.8倍,API成本中位数增加约5.3倍,但预测得分几乎没有变化。运行记录显示,模型往往在较早阶段就形成了最终答案,后续计算主要是局部微调。
工具调用也存在类似问题。模型使用更多方法、进行蒙特卡洛采样或尝试GPU计算,并不意味着预测一定更准。真正关键的是,计算是否围绕影响实验排序的物理量展开,以及新证据能否促使模型修正错误假设。
对科研AI意味着什么
SPU的价值不只是给模型排榜,更在于把“科研品味”拆解成可观察的步骤:模型选择了什么判断依据,何时发现证据冲突,是否能够改变原有排序,以及算力和工具究竟有没有帮助。对科研团队而言,这类基准可以帮助判断某个模型是否适合特定实验;对开发者而言,它提供了比通用问答更具体的改进方向。
目前AI仍容易把计算过程做得很复杂,却忽略“计算的量是不是实验真正关心的量”。如果SPU持续扩充任务并保持公开数据与私有实验结合,模型距离真实实验台的进步将不再只靠演示,而能通过可复现的预测结果持续衡量。
来源:量子位
评论
正在确认登录状态……
正在加载评论……