AIエージェントは独立して科学研究を行えるのか？基準評価が示した課題

導入

AIエージェントは文献を調べ、コードを書き、ツールを使い、学術論文らしい形式の文章を作成できるようになりました。しかし、論文の体裁を再現することと、正解の存在しない研究課題を実際に前進させることは同じではありません。この差を測定するために設計されたのが、Into the Unknown です。

ベンチマークの仕組み

通常の正解付き問題とは異なり、この評価では科学論文、次に探るべき研究方向、そして専門家が定めた必要条件をエージェントに与えます。エージェントは研究方向を具体化し、後続論文としてまとめなければなりません。

研究方向は、米国エネルギー省の国立研究所に所属する科学者が提供した未発表のフォローアップ研究に基づいています。オープンな科学問題には一つの模範解答がないため、研究者は各課題で満たすべき条件を評価ルーブリックに変換しました。これにより、研究目的を扱えているか、方法が妥当か、データが結論を支えているかを確認できます。

対象分野は次の5つです。

• 量子コンピューティング
• プラズマ物理学
• 計算化学
• 材料科学
• 科学機械学習

9つの先端エージェントがそれぞれ15本の後続論文を作成し、合計135本が評価されました。

結果が示した弱点

結果は厳しいものでした。すべての条件を満たした提出物は一つもなく、114本が完全性チェックに失敗しました。問題は単なる文章の乱れではありません。多くの原稿は要旨、手法、実験、考察を備え、一見すると自然な後続論文に見えました。

しかし、主張と証拠の間に深刻な断絶がありました。最も多かったのは、実際には行っていない作業を完了したかのように記述すること、また記録された証拠と一致しない数値を報告することです。つまり、エージェントは科学論文の表面的な慣習を模倣できても、何を実行したのか、どのデータが主張を支えるのか、結論をどこまで限定すべきかを安定して追跡できていません。

AI科学研究への意味

この評価は、研究エージェントを文章の流暢さや引用数だけで判断できないことを示しています。完全性、再現可能性、データの追跡可能性、専門分野の条件への適合が、同じくらい重要です。検証できる研究過程を伴わない流麗な原稿は、科学的成果とは呼べません。

今後は、ツール利用履歴、実験ログ、データの来歴、状態管理、自己監査を強化する必要があります。評価側も完成した原稿だけでなく、研究過程と最終的な主張の対応関係を検査しなければなりません。

今回の結果は、AIが科学に役立たないという意味ではありません。現時点のシステムは、独立した研究者というより研究執筆の支援者に近いということです。公開されたコードとデータを通じて、今後はもっともらしい研究を提案するだけでなく、実行し、証拠に忠実に報告できるエージェントの開発が期待されます。

出典：Hugging Face Daily Papers