ASI-Benchが示す、AIの自律的な科学研究までの距離

導入

現在のAIは、論文検索、要約、コード生成、定められた手順の実行をかなり得意としている。しかし、既存の知識を使って正解を出すことと、未知の領域から新しい知識を生み出すことは同じではない。後者には、研究の方向性を見つけ、適切な手法を選び、予想外の結果に対応し、他者が確認できる証拠を作る能力が必要になる。

ASI-Benchは、この差を測るために設計されたベンチマークだ。一般的な科学研究の領域を対象に、革新的な探索とプロジェクト単位の自律的な研究実行を評価する。

主な特徴

• 単発の質問ではなく研究プロジェクトを評価する。 11分野、60件の課題を収録し、個別の回答ではなく、発想から結果までの流れを対象にする。
• 方法論の支援を段階的に減らす。 十分な研究手順を与える設定から始め、最終的にはエージェント自身が採用する手法を決める。
• 成果の検証可能性を重視する。 課題は専門家レビュー、AIを使った監査、サンドボックス実行、スコア検証を経ている。
• 自律化すると性能が落ちる。 18種類のエージェント・モデル構成では、完全な方法指導がある場合の平均スコアは50.91だった。手法だけを指定すると29.10、手法の選択まで任せると26.62になった。

何が明らかになったのか

この結果は、現行AIの能力が人間の研究設計に強く依存していることを示唆する。計画済みの手順を実行できても、曖昧な問題をどう分解するか、どの仮説を検証する価値があるか、失敗後に何を変えるべきかを自力で判断できるとは限らない。

従来のベンチマークでは、この弱点が見えにくい。データ、ツール、方法、評価基準があらかじめ与えられていれば、モデルは主に知識の呼び出しとワークフローの遂行を示す。一方、実際の研究では情報が不完全で、仮説も結果も不確実であり、方法自体を調整しなければならない。

ASI-Benchの意義は、未知の探索、手法選択、研究実行、結果の検証を一つの評価の流れにまとめた点にある。モデル開発者は失敗箇所を特定しやすくなり、研究チームは、整った報告書をそのまま信頼できる発見と見なすべきではないと再認識できる。

もちろん、このベンチマークだけで科学的創造性の全体を測れるわけではない。分野ごとの難易度、課題設計、採点方法、利用可能なツールが結果を左右する可能性もある。それでも、方法論の足場を外すと現在のシステムの性能が大きく下がるという事実は重要だ。仮説を作り、手法を選び、失敗から回復し、自分の主張を検証するAIをどう構築するかが、今後の主要課題になる。

出典：Hugging Face Daily Papers