AI 能否成为科学家,不只是看它会不会执行既定步骤。它还需要判断该测什么、如何安排实验,甚至从任务目标出发自行设计实验。TwinLab-Bench 把评测重点放在最后这项更开放的能力上:模型提出实验方案后,环境能否稳定执行,并给出有真实实验记录依据的结果。
这套基准包含来自物理科学、生命科学和工程领域的 52 项任务,支持 100 多种实验操作类型。每项任务配有一个 TwinLab 智能体,负责充当实验环境。它读取实验室原始材料,并调用基于实验记录构建的计算器,执行被测 AI 设计的实验。随后,系统把 AI 提交的报告与来自真实实验记录的隐藏答案进行比较。
它评测的能力,不止是“会做题”
- 第一层是按要求正确完成给定的计算或实验流程。
- 第二层是在预设的候选空间里选择下一步测量。
- 第三层则是自行设计实验。TwinLab-Bench 主要试图补足现有基准对第三层能力评测不足的问题。
研究还比较了 TwinLab 智能体与仅看到任务描述的语言模型。摘要称,前者几乎消除了偏离真实记录的读数,以及重复请求时回答不一致的情况;研究也设置了闭卷探测,以控制模型仅凭记忆答题的可能。这些设计的价值在于,实验结果不再只是由模型自由生成,而是受实验材料和记录约束。
结果并不轻松:论文报告的最强模型 Claude Fable 5.2 平均得分为 45.0。素材没有说明这一分数的具体量表,因此不宜将它解读为百分比;但作者的结论明确指出,这些任务对前沿模型仍然困难。论文还提到对失败原因进行了实证研究,不过现有摘要没有列出具体失误类型。
TwinLab-Bench 的意义,在于把“自主科学”评测从流程执行与有限选项决策,推进到模型提出方案、环境依据实验记录执行、再由隐藏答案核验的闭环。它为比较 AI 的实验设计能力提供了更贴近实验室材料的测试方式,也让评测者能关注结果是否可靠、重复请求是否一致。需要区分的是,这里的实验环境由 TwinLab 智能体提供,并不等同于模型直接操作现实实验室;它的可信度取决于记录、材料与执行器如何构建。后续若要判断模型能否走进真实科研流程,还需要更细的任务结果与实际实验验证。
评论
正在确认登录状态……
正在加载评论……