AI审稿不能只看“稳”：SciCore试图拆穿修辞鲁棒性的假象

导语

如果一篇论文只是换了表达方式，AI审稿人是否应该改变评价？现实中，模型可能会被更有说服力的措辞、更加流畅的结构或更强的“卖点”牵着走，从而把修辞优化误认为科学质量提升。题为《A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review》的研究，正是从这一问题出发，重新审视AI评审系统应该如何被测试。

核心要点

• 提出修辞鲁棒性概念。 研究认为，可信的AI审稿器需要同时满足两点：面对保持科学内容不变的改写，评分应尽量稳定；面对不同论文，又必须具备足够的区分能力。前者避免模型被措辞影响，后者防止模型因为过度追求稳定而给所有论文相近分数。
• 建立RobustReview基准。 研究构造了一个受控的全文稿件评测基准，共包含1260个稿件版本，并比较30种审稿器配置。这样的设计把“内容变化”和“表达变化”尽量分开，为测量模型究竟在评价科学，还是在评价写法，提供了更直接的实验框架。
• 识别“假鲁棒性”。 研究发现，较低的改写敏感度并不自动意味着审稿器更可靠。有些系统虽然面对不同措辞时分数变化不大，但同时也无法有效拉开不同论文之间的差距，最终表现为跨论文的分数坍缩。换言之，模型可以通过“什么都打得差不多”来获得表面的稳定。
• 人类一致性与修辞鲁棒性并非同一排名。 与人类判断越接近，并不必然意味着系统越能抵抗修辞变化。这说明AI审稿评测不能只依赖单一的人类对齐指标，还需要单独考察模型对内容保持型改写的反应。
• SciCore采用双分支评审。 该方法一方面直接评估完整论文，另一方面先提取结构化的“科学核心”，再基于这一内容归一化表示进行判断，最后将两路结果平均。其目标不是完全忽略论文写作，而是在保留全文信息的同时，增加一个相对不受表述影响的参照。

意义与影响

这项工作的价值首先在于改变了AI审稿器的评价问题。过去，人们常用准确性、人类偏好或与专家评分的一致程度来衡量系统，但这些指标未必能回答一个关键问题：模型是否因为论文写得更像“好论文”，就提高了评价？修辞鲁棒性把这个风险单独提出，使评测从“结果像不像人”进一步延伸到“判断是否对表达变化足够稳健”。

SciCore的思路也提供了一条较为清晰的工程路径：不要求单一模型在同一输入中同时解决全部偏差，而是让完整文本判断和内容归一化判断互相制衡。研究报告称，在主要的GPT-5.5比较中，SciCore取得了参测方案中领先的稳定性—区分度组合表现，同时保持了有竞争力的人类一致性。不过，材料并未给出完整的数值结果，因此更适合将其视为一种有潜力的评审架构，而不是已经被全面验证的最终方案。

对论文评审平台、自动筛选工具和科研工作流而言，未来的关键不只是让AI更会“写评语”，还要确认它是在评价研究本身。RobustReview揭示的假鲁棒性提醒开发者：降低改写敏感度必须与保留跨论文区分能力同时进行，二者缺一不可。

来源：Hugging Face Daily Papers