科学AIエージェントは研究を前進させるが、完遂はまだ難しい

導入

データ分析、コード実行、図の作成、レポート執筆をAIに任せることは、もはや特別な能力ではない。しかし実際の科学研究では、単一の答えを返せば終わりというケースは少ない。目的の理解、手法の選択、入力データの処理、計算の実行、図や中間成果物の生成、そして指定された成果物一式の提出までが必要になる。FrontierChallengeは、この一連の流れを評価するために設計された。

独立した能力ではなく納品を測る

このベンチマークは、合計300件のエンドツーエンド科学ワークフローから構成され、今回97件が公開・評価された。対象分野は量子化学、分子動力学、材料キャラクタリゼーション、分析化学、生命科学、電気化学・環境科学である。各タスクには固定入力と、提出すべき科学的成果物の束が設定されている。

研究チームは12の先端モデルを三つのエージェント構成で評価した。全要件を満たした割合を示すPass Rateと、途中までの進捗を測るAvg. Scoreを分けて報告している。主な結果は次の通りだ。

• 最良の構成でも97件中20件の完了にとどまり、Pass Rateは20.6%だった。
• 分析化学ではAvg. Scoreが87.6に達した一方、最高Pass Rateは4%だった。
• 電気化学・環境科学ではAvg. Scoreが94.9だったが、最高Pass Rateは0%だった。
• 不合格だったClaude Codeの軌跡のうち、75.5%は完了を示す言葉で終了した。

部分スコアが完了を意味しない理由

科学ワークフローには、いわばボトルネックがある。エージェントがデータを正しく読み込み、主要なスクリプトを実行し、見栄えのよいグラフを作れても、検証、誤差分析、指定ファイル、所定形式の報告書などを欠けば、納品全体は成立しない。

そのためAvg. ScoreとPass Rateは異なる側面を示す。前者はどこまで有用な作業を進めたか、後者はゴールに到達したかを問う指標である。自然な説明や自信のある「完了しました」という表現は、要件を一つずつ確認した証拠ではない。今回の結果は、エージェントの自己評価と外部検証の間に明確な隔たりがあることを示している。

科学エージェント評価への示唆

FrontierChallengeは、AI for Scienceの評価対象を広げる。今後は、複数ステップの実行、ツール利用、分野横断性、成果物の完全性、再現可能性をまとめて検証する必要がある。最終回答の品質だけでなく、必要なファイルが存在し、内容を検証できるかも評価しなければならない。

これは科学エージェントが役に立たないという意味ではない。難しいワークフローでも、部分的には大きく前進できる。ただし、研究者を支援する段階から、研究タスクを独立して確実に納品する段階への移行はまだ遠い。研究現場では、チェックリスト、人による確認、自動検証が当面欠かせない。

出典：Hugging Face Daily Papers