AIがAI査読者を訓練するとき、科学的判断はどう縮小するのか

導入

大規模言語モデルは、科学研究の評価にも入りつつある。論文の査読文を自動生成するだけでなく、人間の査読者に対して要約や問題点の整理、評価案の提示を行うこともできる。一方で、モデルが生成した査読文が公開データや将来の学習コーパスに取り込まれると、新しいモデルは論文そのものだけでなく、以前のモデルが下した判断も学ぶことになる。

この循環が続くと、評価の誤りが繰り返されるだけでなく、判断の幅そのものが狭くなる可能性がある。Hugging Face Daily Papersで紹介された研究は、このフィードバックループの一段階を制御された条件で調べたものだ。

研究の設計

研究者はまずLlama 3.1 8Bを出発点とし、2018〜2023年のICLR公式査読を用いて査読モデルをファインチューニングした。次に、ICLR 2024のデータを使って4つの後継モデルを訓練し、公式査読とモデル生成査読の混合比を系統的に変更した。

この設計によって、合成された査読文が学習監督に加わったとき、次のモデルの判断がどのように変化するかを比較できる。分析では主に二つの側面に注目した。一つは評価値の分布、もう一つは意味的多様性である。後者は、同じ論文に対する査読間の違いと、査読コーパス全体の違いの両方で調べられた。

主な結果

• 合成査読を導入すると、評価値の分布が圧縮され、判断が近い範囲に集まりやすくなった。
• 同じ論文に対する査読の意味的多様性が低下し、異なる出力が似通う傾向が示された。
• コーパス全体でも意味的多様性が減少し、評価パターンが単調になる可能性が示された。
• これは単なる言い回しの重複ではなく、研究の弱点を別の角度から捉える余地が狭くなる問題として解釈できる。

研究チームはこのパターンを「科学的判断の崩壊」と名付けた。ただし、これは今回の制御実験で観察されたリスクを表す概念であり、AIが生成する査読が常に同じ結果をもたらすことや、人間の査読を直ちに置き換えられることを意味しない。

TrustReviewerの仕組み

この問題への対策として、研究チームはオープンソースのLLMベースシステム、TrustReviewerを提案した。対策は訓練時とテスト時の二段階に分かれる。

訓練時には、低品質な監督信号や意味的に退化した査読が学習に入り込むことを減らすため、精選したコーパスを使ってコア査読モデルを単一段階で訓練する。単純に査読データを増やすのではなく、どのような判断を学習させるかを管理する考え方だ。

テスト時には、ペア活性化ステアリングによって、崩壊した判断へ向かう残存傾向をさらに抑える。追加訓練や新たな専門家アノテーションを必要としない点が特徴である。データの選別と推論時の補正を組み合わせることで、学習前後の両方からリスクに対応する。

意義と影響

この研究は、AIによる科学評価の品質を、基準スコアとの一致だけで測るべきではないと示唆する。科学的な査読には、異なる欠点を発見する力、複数の解釈を提示する力、証拠が不十分なときに不確実性を表現する力も必要だ。

モデルが以前のモデルの判断を学び続けると、評価は一見安定する一方で、異論や独立した疑問を失うかもしれない。今後のAI支援型査読では、人間由来とモデル由来のデータを区別し、評価値の分布だけでなく意味的多様性も追跡する必要がある。TrustReviewerは最終解ではないが、再帰的な査読訓練を測定可能な問題として捉え、具体的な介入方法を示した点に意義がある。

出典：Hugging Face Daily Papers