LLM 距离“AI 科学家”还有多远？SDABench 给出能力拆解

导语

大模型已经能写代码、调用工具、生成图表，也能在不少数据分析任务中表现得像一名“研究助理”。但它们是否真的具备支持科学发现的能力？论文《Are LLMs Ready for Scientific Discovery?》提出的 SDABench 试图把问题从“模型能不能完成流程”推进到“模型能不能支撑有效的科学主张”。

过去许多科学数据分析评测更关注代码是否能运行、工作流是否完成，容易把科学分析简化为工程执行。作者认为，科学分析的目标并不相同：有时是探索假设，有时是做统计推断，有时要解释机制。不同目标对应不同假设、证据标准和有效性要求，因此需要更细的能力评估框架。

核心要点

• 按能力而不是按流程评测：SDABench 将任务重组为六类能力：描述性、探索性、推断性、预测性、因果性和机制性分析。这种划分更贴近科学研究中不同类型结论的形成方式。
• 覆盖多个科学领域：基准横跨生物、化学、环境、地理和物理五个领域，避免只在单一学科语境下衡量模型能力。
• 兼顾真实与合成数据：数据集包含 527 个真实数据实例 SDA-Real，以及 6000 个合成实例 SDA-Synth。每个实例都设计为选择题和开放式两种格式，有助于观察模型在受限判断与自由论述中的表现差异。
• 评估对象较广：研究评估了 15 个代表性 LLM，结论并非针对单一模型，而是试图刻画当前模型群体在科学分析上的共性问题。
• 错误定位更细：SDABench 还提供五阶段错误分析框架，用于判断模型是在识别范围、选择变量、确定分析方法、建模变量关系，还是得出结论时出错。

主要发现

评测结果显示，LLM 在描述性分析上相对稳定，例如概括数据、识别基本模式等。但一旦任务需要选择合适假设、处理潜在过程、建立变量关系或进行机制推理，性能会明显下降。更先进的模型通常更能识别相关问题范围和关键变量，却仍然难以稳定选择正确分析程序，也容易在变量关系建模和结论有效性上失误。

这说明，当前 LLM 的短板并不只是“会不会写代码”，而是能否理解科学分析背后的证据逻辑。对于 AI 科学家来说，完成图表和脚本只是基础，更关键的是知道什么方法适用于什么问题，以及结论在何种假设下才成立。

意义与影响

SDABench 的价值在于把科学数据分析评测从任务完成率拉回到科学能力本身。它提醒开发者：要让 LLM 真正进入科研环节，仅靠增强工具调用或自动化工作流并不够，还需要提升统计推断、因果判断和机制解释等高阶能力。

对于科研用户而言，这项工作也提供了一个务实信号：大模型可以辅助整理数据和提出初步观察，但在涉及方法选择、因果解释和机制建模时，仍需要研究者严格审查。未来的“AI 科学家”评测，可能会越来越强调结论的可验证性、假设的合理性以及推理过程的科学有效性。

来源：Hugging Face Daily Papers