査読の意義は、複数の読者が論文の採否を判断することだけではない。異なる視点から問題を見つけることで、著者や編集者に幅広い改善材料をもたらす点にもある。ところが、複数の査読者が同じ弱点を繰り返し指摘するなら、査読件数が示すほど多様な情報が得られていない可能性がある。論文「Twice-Told Critiques」は、LLM時代の会議・学術誌の査読を対象に、このコメントの重なりを分析した。
報告によると、ICLRで同じ審査段階に属する査読間の重複率は、2026年の12.0%から2027年の21.3%へ上昇した。NeurIPS、ICML、F1000およびPLOSの関連学術誌でも前年比の上昇が見られたが、提供された概要にはそれぞれの具体的な数値はない。別の指標では、ICLRで3人目の査読者が前の2人の指摘に加えた新たな問題は、2027年に平均5.46件だった。2026年は6.12件であり、3人目から得られる追加の指摘が減ったことを示す。ただし、この数字だけでは減少の理由までは分からない。
研究者はLLM生成文の検出器MELDをすべての査読に適用し、同一論文の査読同士を比較した。MELDに検出された2件の査読は、検出されなかった2件より批判内容の重複が大きかった。その差はICLRの2024~2025年で3.0ポイント、2026~2027年で4.5ポイント、5つの学術誌ソース全体で5.4ポイントだった。これは検出結果とコメントの類似度が結び付いていることを示すが、検出された査読がLLMによって書かれたと確定するものではなく、LLM利用が重複を生んだという因果関係も証明しない。
主なポイント
- 複数の会議・学術誌で、同じ論文への査読コメントの重複が増加している。ICLRでは具体的な上昇幅が示された。
- ICLRの3人目の査読者が追加する新たな問題の平均数は、2027年に前年より少なかった。
- MELDに検出された査読同士はより似ていたが、検出器の判定は執筆者やツール利用の確証ではない。
この分析が投げかけるのは、査読者が複数いるとき、実際に複数の視点が得られているのかという問いだ。指摘が重複すれば、査読者数だけから想像されるほど独立した診断情報が著者に届かないかもしれない。編集者にとっては、査読の件数に加えて、コメントがどれほど異なる情報を提供しているかを考える余地がある。また、LLMの影響を議論する際には、文章の表面上の特徴だけでなく、査読が独立した具体的な問題を見つけているかにも目を向ける必要がある。
一方、提供された概要からは、重複率の計算方法、対象データの詳細、傾向に影響しうる他の要因までは確認できない。そのため、上昇をLLMの利用に直接帰属させるのは早計だ。MELDの判定も検出器の出力として扱うべきである。慎重に言えるのは、査読コメントの多様性が低下している可能性があり、LLM生成と判定された査読では重複が大きかったということだ。原因を明らかにするには、さらなる検証が必要となる。
コメント
ログイン状態を確認中…
コメントを読み込み中…