AI査読者は論文の改善を見抜けるのか？大規模研究の答え

導入

論文の改訂では、実験の追加、問題設定の明確化、議論の再構成、査読コメントへの対応などが行われる。科学的な内容が改善されたなら、AI査読者もその変化を捉え、評価を引き上げることが期待される。しかし、新たな大規模研究は、改訂の質とAIによるスコア変化の関係が安定していないことを示した。

研究の概要

研究チームはPaperTrajectory-2026を用いた。このデータセットには、5つのAI会議から集めた6,959件の論文のバージョン履歴が含まれる。バージョン間の変更は14の観点で自動注釈され、論文全体の品質についても別に評価されている。さらに、8種類のAI査読者に各バージョンを独立して評価させ、改訂による改善を認識できるかを調べた。

大きな改善は、主に実証的な証拠と論文の framing に関係していた。実験的な裏付けを強化したり、研究課題や貢献の見せ方を整理したりする変更である。一方、後の改訂ほど、根本的な変更ではなく段階的な改善にとどまる傾向が見られた。

主な発見

• 「大幅な改善」と注釈された改訂の多くで、AI査読者のスコアは変わらなかった。
• スコアが上がったか下がったかについて、査読者間の一致は弱かった。
• 特定の査読者では、一部の改訂項目がスコア上昇と関連したが、査読者をまたいだ一貫した規則にはならなかった。
• 中立的な評価で改訂版が高く評価されても、短い否定的なユーザー意見によって差が消えたり、逆転したりすることがあった。

意義と影響

この結果は、AI査読者が改善をまったく認識できないという意味ではない。問題は、その反応が不安定な点にある。著者が実験を増やしたり論文の構成を改善したりしても、AIのスコアが同じ方向に動くとは限らない。そのため、最終スコアだけで改訂を理解できたか判断するのは不十分である。

また、ユーザーの framing が評価を左右する点は、AI査読の公平性に関わる。科学的な証拠が変わっていない場面でも判断を安定させ、実質的な改訂には敏感に反応できるかどうかを、今後の評価で確認する必要がある。AI査読システムには、単に高い点を付ける能力ではなく、論文がどのように改善されたかを追跡する能力が求められる。

出典：Hugging Face Daily Papers