PremiseCheck：把同行评审事实核查拆成可验证的前提

同行评审的瓶颈不只在投稿量增加，也在于评审意见本身可能没有准确复述论文。评论者可能把实验结果说得过强、遗漏限定条件，或将多个隐含判断揉进一句话。无论评论来自人类还是AI，这类事实性错误都会影响作者回应、编辑决策和读者对研究结论的理解。

从整段判断转向前提核查

论文提出ReviewFact基准，收集了来自自然语言处理、机器学习和自然科学领域的9,267条评论，覆盖217篇论文，并用统一定义标注评论中的事实错误。该基准不仅比较识别效果，也把调用成本和响应延迟纳入评估，更贴近实际部署需求。

PremiseCheck的关键是把“读懂整条评论”拆成两步：

• 一个大模型先在不阅读论文的情况下，将评论改写成若干明确、可检验的前提；
• 一个更便宜的决策模型逐项检查这些前提是否得到论文支持；
• 如果某个前提最不成立，它会拉低整条评论的分数，并指出具体矛盾点。

这种设计结合了大模型的语言拆解能力和小模型的低成本文本判断能力。相比让前沿大模型为每条评论完整阅读论文，PremiseCheck减少了重复的长上下文处理；相比直接让决策模型判断包含多个隐含断言的整段评论，它又提供了更清晰的核查单位。

效果与边界

按单条评论评估时，PremiseCheck在三个领域的AUROC与GPT-5.5接近，但总体成本约为后者的一半。在NLP评审中，采用不带推理的评论分解器后，AUROC为63.1，而参考系统为63.2；成本约降至四分之一，延迟低于一半。进一步将批量运行的PremiseCheck与GPT-5.5分数融合，在按整篇评审衡量时达到71.5 AUROC，成本约为参考方案的28%。

这些结果也显示，任务本身仍然困难：NLP子集的AUROC约为63，机器学习和自然科学子集规模较小，统计区间较宽。研究没有覆盖评审意见中“判断是否正确”的问题，例如评价标准、实验重要性或创新性是否合理，因此系统更适合做事实一致性筛查，而不是自动裁决评审质量。

意义

PremiseCheck提供了一种面向评审流程的成本敏感型架构：用大模型负责结构化，用专门的决策模型负责规模化验证。它可以帮助编辑或会议组织者优先定位可能误述论文的评论，把昂贵的人力集中到高风险案例上。但最终核查仍需回到论文原文和领域专家，尤其是在前提拆解不完整、论文表述含糊或跨段落理解复杂时。

来源：Hugging Face Daily Papers