SciΠvot：前沿模型为何难以做出科研关键判断？

导语

让 AI 智能体连续运行数月、自动执行实验，已经不再只是工程想象。但科研自动化的真正瓶颈，可能不是让模型“做更多”，而是让它在关键节点知道“该不该继续、该如何改变方向”。科研判断往往依赖项目背景、实验轨迹和隐含目标，难以用单一标准答案衡量。SciΠvot 正是针对这一问题设计的评测基准。

这项评测测什么

研究团队整理了六个月真实研究过程中产生的纠偏记录。期间，资深研究者在六个科学领域的 26 个项目中运行 LLM 智能体，并反复介入，修正智能体提出的研究判断。最终，SciΠvot 收集了 248 个案例。

每个案例要求模型在两个方案之间做选择：一个是智能体最初提出的方案，另一个是研究者后来给出的修正方案。模型只能使用纠偏发生前已经存在的项目记录，不能直接看到研究者为何修改。这种设计避免了把任务简化为复述专家意见，更接近科研负责人在阶段性决策点面对的信息环境。

主要发现

• 在提供项目记录、采用中等推理量的条件下，模型系统性地更偏好原始 LLM 方案，而不是人类修正方案。
• 五个前沿模型中有四个在所选案例上低于随机水平，说明问题不只是“偶尔判断失误”，还可能存在稳定的偏好偏差。
• 在项目上下文条件下，测试模型的最高准确率为 63.5%；新入组研究人员的准确率为 73.4%。
• 对模型加入项目记录后，在中等推理量设置下，所有模型的准确率都低于不提供记录时的表现。
• 要求模型重新考虑，并没有稳定提升总体准确率。

为什么上下文反而可能拖累表现

项目记录理论上能够提供更多线索，但也可能包含大量过程噪声、早期假设和已经失效的路径。模型容易被已有叙事牵引，继续认可原先看似连贯的方案，而忽略研究者在关键节点发现的隐性问题。换言之，更多上下文不等于更好的科研判断；模型还需要识别哪些信息真正改变了决策价值。

这项结果并不意味着 LLM 无法参与科学研究，也不能简单推导出人类方案在所有场景中都更优。基准的案例来自人类实际纠偏，因此重点衡量的是模型能否识别这些被研究者认为需要修正的决策。它更准确地揭示了当前智能体在研究方向选择、方案取舍和阶段性“转向”上的薄弱环节。

意义与影响

SciΠvot 的价值在于把“科研直觉”转化为可重复比较的判断任务。未来，科研智能体的评测不应只看实验执行速度、代码正确率或论文产出，还应考察它能否在证据不足、目标变化和路径失效时及时调整。对系统开发者而言，单纯提高推理预算或塞入完整项目日志并不保证可靠性；更有针对性的做法，可能是训练模型识别纠偏信号，并让其明确比较备选方案的风险与依据。

对于实际部署，研究结果也提醒人们：在高影响科研决策上，人类监督仍不能只承担最终审批角色，而应参与关键转折点的审查。SciΠvot 为这种监督提供了一个可量化的测试入口，也为构建更稳健的科学自动研究系统提出了清晰问题：模型究竟是在理解研究，还是只是在延续已有计划？

来源：Hugging Face Daily Papers