AI論文の文章が自然でも、科学的推論は破綻しているかもしれない

導入

文章が流暢で、引用も実在し、表や図もそれらしく見える。そうしたAI生成論文でも、科学的には信頼できない場合がある。問題は一文の誤りではなく、研究課題、手法、実験、結論の間に十分な推論のつながりがないことだ。論文「Science or Slop?」は、このような問題を「scientific slop」と呼んでいる。

論文全体の推論を測る

Scientific slopは、明らかな幻覚とは異なる。各部分だけを見るともっともらしい一方、全体を組み合わせると主張を支えられていないことがある。研究チームは、この現象を測るため、三つの領域にまたがる六つの指標を設計した。

• 構造：各節が研究目的に沿っており、手法、実験、結論が対応しているか。
• 論証：主張が結果によって裏付けられ、推論に飛躍や矛盾がないか。
• 成果物：表、図、引用などが本文の説明と整合しているか。

これらを用いて構築されたSciSlopBenchには、主にコンピューターサイエンスから、生命科学、社会科学、自然科学までを含む390本のAI生成論文が収録されている。各論文には、研究課題と貢献の種類をそろえた人間執筆論文が対応する。AI論文の識別精度は85.9%で、Binocularsの68.7%を上回った。ただし、高いスコアが論文のAI生成を証明するわけではない。単語や文体だけでなく、科学的推論の不整合を見る価値を示した結果だといえる。

指標を直接最適化する危険

研究では、科学的slopを減らす方法も検討された。モデルにスコアを下げるよう直接指示すると、表面的な評価だけを改善し、根本的な論証を修正できない可能性がある。評価者を満足させるための変更だけを学ぶ、いわゆる報酬ハッキングにつながる危険もある。

そこで提案されたSciSlopHarnessは、実験記録を根拠として修正を制約する。証拠がある場合にのみ主張や説明を変更し、スコアだけを追いかけない設計だ。論文概要によれば、人間の参照論文を使わず、最も強い修正ベースラインと比べてAI論文と人間論文の残存差を63%縮小した。

意義と今後の課題

研究チームは、科学的slopが高いほどICLRの評価が低くなる傾向も報告している。また2017年から2025年まで、各年で採択論文と不採択論文を偶然以上の精度で区別できたという。査読者は明示的な指標を使わなくても、論文全体の弱さを感じ取っている可能性がある。

重要なのは、「AIらしい文章か」だけを調べることではない。主張がデータに支えられているか、実験成果物が本文と一致しているかを確認する必要がある。この研究は有望な評価の方向性を示す一方、分野をまたいだ適用性や実際の投稿環境での性能については、今後の検証が必要である。

出典：Hugging Face Daily Papers