返回文章列表

TwinLab-Bench:让 AI 科学家自己设计实验,再接受真实实验记录检验

阅读约 2 分钟

AI 能否成为科学家,不只是看它会不会执行既定步骤。它还需要判断该测什么、如何安排实验,甚至从任务目标出发自行设计实验。TwinLab-Bench 把评测重点放在最后这项更开放的能力上:模型提出实验方案后,环境能否稳定执行,并给出有真实实验记录依据的结果。

这套基准包含来自物理科学、生命科学和工程领域的 52 项任务,支持 100 多种实验操作类型。每项任务配有一个 TwinLab 智能体,负责充当实验环境。它读取实验室原始材料,并调用基于实验记录构建的计算器,执行被测 AI 设计的实验。随后,系统把 AI 提交的报告与来自真实实验记录的隐藏答案进行比较。

它评测的能力,不止是“会做题”

  • 第一层是按要求正确完成给定的计算或实验流程。
  • 第二层是在预设的候选空间里选择下一步测量。
  • 第三层则是自行设计实验。TwinLab-Bench 主要试图补足现有基准对第三层能力评测不足的问题。

研究还比较了 TwinLab 智能体与仅看到任务描述的语言模型。摘要称,前者几乎消除了偏离真实记录的读数,以及重复请求时回答不一致的情况;研究也设置了闭卷探测,以控制模型仅凭记忆答题的可能。这些设计的价值在于,实验结果不再只是由模型自由生成,而是受实验材料和记录约束。

结果并不轻松:论文报告的最强模型 Claude Fable 5.2 平均得分为 45.0。素材没有说明这一分数的具体量表,因此不宜将它解读为百分比;但作者的结论明确指出,这些任务对前沿模型仍然困难。论文还提到对失败原因进行了实证研究,不过现有摘要没有列出具体失误类型。

TwinLab-Bench 的意义,在于把“自主科学”评测从流程执行与有限选项决策,推进到模型提出方案、环境依据实验记录执行、再由隐藏答案核验的闭环。它为比较 AI 的实验设计能力提供了更贴近实验室材料的测试方式,也让评测者能关注结果是否可靠、重复请求是否一致。需要区分的是,这里的实验环境由 TwinLab 智能体提供,并不等同于模型直接操作现实实验室;它的可信度取决于记录、材料与执行器如何构建。后续若要判断模型能否走进真实科研流程,还需要更细的任务结果与实际实验验证。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章