科学智能体不能只看最终答案：一次关于证据与执行状态的审计

导语

在科学研究中，检查一个 AI 智能体是否“答对”，往往还不够。它可能给出正确判断，却引用了另一组证据；也可能在底层计算出现静默错误后，仍然输出看似合理的结果。来自 BioAgent-DF 的研究把审计对象从最终答案扩展到智能体实际读取的证据、工具输出以及依赖这些输出形成的执行状态。

核心发现

研究者首先在 SciFact 任务中，为同一科学计算位置保存参考值和候选值，再将这些值恢复或移植到原始坐标，观察智能体在健康硬件上的行为。结果显示，Qwen3.5-4B 和 Gemma 3 4B IT 在多个“捕获方式—科学主张”组合中，出现了可重复的读取或引用变化。部分情况下，完整恢复参考状态能够找回原先的证据集合，但最终结论并未改变；在另一组基线提示词下出现的结论变化，也没有在加入明确示例后再次出现。

这说明，答案一致并不代表证据一致，而证据一致也不必然意味着智能体的内部执行历史已经被恢复。研究还通过工具和优化器实验区分了三类恢复目标：找回数值状态、找回排序后的列表，以及恢复智能体能够看到的历史信息。

更具现实意义的实验来自 hERG 心脏安全性筛选。静默 GPU 故障没有触发崩溃、NaN 或无穷值，却让两个已被标注为 hERG 阻断剂的化合物——K12252 和 K1461——从“进行实验验证”变成了“直接推进”。总体候选名单中被标记为阻断剂的数量仍是 351 个（总计 402 个），因此只看汇总数量会误以为系统没有受到影响。

传统的数据完整性、有限值和概率范围检查没有发现这 16 个故障源中的任何一个；线性层校验和则全部发现。对该工作负载而言，流式校验使原生前向计算耗时增加 25.8%。当智能体已经读取错误数值后，仅替换预测文件没有修复任何一个受影响决策；恢复读取前的执行状态，并提供经过认证的分数，才恢复了全部 39 个变化决策，且没有提交错误行动。

意义与影响

这项研究将科研智能体的可靠性问题分成两个层次：一是“它得出了什么结论”，二是“它依据什么证据、在什么状态下采取了行动”。后者通常更难观察，也更容易在工具调用、缓存、排序结果和中间记忆中留下不可见的偏差。

对于生物医药等高风险场景，审计日志不应只保存最终回答，还应绑定输入数值、工具版本、关键中间状态、证据引用和实际决策。故障恢复也不能简单理解为重新写入一个正确文件；如果错误数据已经改变了后续执行路径，就需要回滚相关状态，或重新运行受影响步骤。研究并不意味着所有科研智能体都会出现相同问题，但它清楚表明：可复现的答案，不能替代可追溯的决策 provenance。

来源：Hugging Face Daily Papers