AI论文看似合理却漏洞重重：研究者提出“科学垃圾”评测框架

导语

当一篇论文的句子通顺、引用真实、图表也像模像样时，传统的AI文本检测器未必能发现问题。真正的风险可能存在于更高层次：研究问题、方法、实验和结论之间缺少可靠的推理连接。论文《Science or Slop?》将这类现象称为“scientific slop”，可译为“科学垃圾”或“科学低质内容”。

从识别文字转向检查科学推理

研究者指出，科学垃圾并不是某一句话明显错误，而是整篇论文的局部内容分别看似合理，组合起来却无法支撑研究结论。为系统评估这种问题，团队设计了六项指标，覆盖三个方面：

• 结构：论文不同部分是否围绕同一个研究目标组织，方法、实验与结论是否相互对应；
• 论证：主张是否有实验结果支持，推理链条是否存在跳跃或自相矛盾；
• 实验产物：表格、图示、引用和其他研究产物是否与正文描述一致。

基于这些指标，研究团队构建了SciSlopBench。数据集包含390篇AI生成论文，主要来自计算机科学，也覆盖生命科学、社会科学和自然科学；每篇AI论文都配有一篇研究问题和贡献类型相匹配的人类论文。结果显示，科学垃圾指标识别AI论文的准确率为85.9%，高于Binoculars检测器的68.7%。这并不意味着该方法能证明某篇论文一定由AI生成，而是说明全篇科学推理中的异常，可能比单纯分析词汇和句式更有辨识力。

“修正语言”不是解决方案

研究还考察了如何降低科学垃圾。直接让语言模型按照相关指标改写论文，可能只会让表面得分变好，却留下原有问题，甚至诱发“奖励投机”：模型学习迎合评测规则，而不是依据实验记录修正论证。

为此，SciSlopHarness不要求模型盲目追求更低的垃圾分数，而是让修改受到实验记录和证据的约束。摘要称，该框架在不使用人类参考论文的情况下，相比最强的修订基线，将AI论文与人类论文之间的剩余差距降低了63%。

意义与局限

研究还发现，科学垃圾程度越高，ICLR评分通常越低，并且在2017至2025年的每一年中，都能以高于随机水平的表现区分接收与拒稿论文。这提示评审者即使没有明确使用相关指标，也可能已经对这些全局性问题有所感知。

对学术出版而言，重点因此不应只是检测“像不像AI写的”，而应检查证据是否真正支撑主张。对研究者而言，AI辅助写作也不能停留在润色层面：每个结论都需要回到实验记录、数据和方法中核验。该工作提供了一个有价值的评测方向，但其指标覆盖范围、跨学科适用性以及对真实投稿环境的表现，仍需要更多独立验证。

来源：Hugging Face Daily Papers