返回文章列表

评审意见越来越相似?一项研究观察LLM时代的同行评审

阅读约 3 分钟

同行评审的价值,不只在于多位读者判断论文是否可靠,也在于他们能从不同角度发现问题。如果几位评审反复指出同一批缺陷,作者和编辑得到的有效信息可能少于评审人数所暗示的数量。论文《Twice-Told Critiques》把这一问题放到LLM普及的背景下,比较会议与期刊中同一论文评审意见的重合程度。

研究报告称,ICLR同一评审阶段的意见重合率从2026年的12.0%升至2027年的21.3%。NeurIPS、ICML以及F1000和PLOS相关期刊也出现逐年上升的趋势,但摘要没有给出这些来源的具体幅度。另一个观察是,2027年ICLR论文的第三份评审,相较于前两份增加了平均5.46个新问题;2026年这一数字为6.12。换言之,后续评审带来的新增批评有所减少,但这项比较本身不能说明原因。

研究还使用MELD这一LLM生成文本检测器,对评审文本进行标记,并比较同一论文的评审组合。两份都被标记的评审,其意见重合度高于两份都未被标记的评审:ICLR在2024—2025年高3.0个百分点,2026—2027年高4.5个百分点;五个期刊来源合计高5.4个百分点。这里的“标记”是检测器输出,不等于确认评审由LLM撰写。结果呈现的是标记状态与意见相似度之间的关联,而非因果证明。

核心要点

  • 同一论文的评审意见重合度在多个会议和期刊来源中上升,ICLR数据变化尤为明显。
  • 第三份评审新增问题的平均数量从2026年至2027年有所下降。
  • MELD标记的评审彼此更相似,但检测器不能据此确认作者身份或工具使用情况。

这项分析提出了一个值得同行评审制度关注的问题:如果不同评审提供的批评越来越相似,多位评审带来的“多视角”是否仍然充分?对编辑而言,意见重合度或许能补充传统的评审数量指标,帮助判断评审是否提供了独立信息。对研究共同体而言,结果也提示,在讨论LLM对评审的影响时,不能只看措辞是否像机器生成,还应关注评审是否提出了彼此独立、具体且有用的问题。

不过,现有材料没有详述重合度的计算方式、样本构成或其他可能影响趋势的因素,因此不宜把观察到的变化直接归因于LLM。MELD的标记也只是检测结果。更稳妥的解读是:研究发现评审意见多样性可能正在减弱,并观察到LLM文本检测标记与更高意见重合度同时出现;要厘清成因,还需要更多方法与数据上的验证。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章