AI审稿人能看见论文的进步吗？大规模研究给出谨慎答案

导语

论文修改通常意味着作者补充实验、澄清问题、调整叙事，或回应评审意见。理想情况下，AI审稿器应当识别这些变化，并在论文质量确实提升时给出更高评价。但一项围绕论文版本演化开展的大规模研究表明，修改本身与分数变化之间并没有这么稳定的关系。

研究看了什么

研究使用PaperTrajectory-2026数据集，覆盖五个AI会议的6959条论文轨迹。数据不仅保留了论文的多个版本，还对版本之间的变化进行了自动标注，涉及14个维度，并另行评估每个版本的整体质量。研究者随后让八个AI审稿器独立评价不同版本，以观察它们是否能识别作者的进步。

从修订内容看，较大的改进主要集中在经验性证据和论文框架上，例如增强实验支撑、改善问题定义或重新组织论述。随着版本迭代继续推进，后续修改更倾向于渐进式优化，而不是带来根本性变化。

核心发现

• 被标注为重大改进的修订，大多数并未让AI审稿器改变分数。
• 八个审稿器对分数上升或下降的判断一致性较弱。
• 某些修订维度在个别审稿器中与分数提升有关，但这种关联缺乏跨审稿器的稳定规律，预测区分能力也有限。
• 即使修订版本在中性评价下获得更高分，一段简短的负面用户意见也可能抹平，甚至逆转这一优势。

意义与影响

这项研究并不是说AI审稿器完全看不见论文改进，而是指出：它们对改进的响应高度不稳定。对于论文作者而言，增加实验或重写框架并不保证模型评分同步上升；对于评审系统开发者而言，仅用最终分数衡量“是否识别到进步”显然不够，还需要比较版本间的证据、论证和结论变化。

研究还揭示了一个更广泛的问题：AI评审可能不仅受科学内容影响，也会受到提示中的用户立场影响。如果系统可以因为一句简短的负面描述而忽略已经观察到的质量提升，那么它就难以成为稳定、公平的辅助评审工具。未来的评测应同时关注对实质性修订的敏感度，以及在科学证据不变时保持判断稳定的能力。

来源：Hugging Face Daily Papers