AI研究エージェントはモデルを改善できるが、科学もできるのか

導入

コーディングエージェントを「自動化された研究者」と呼ぶには、コードを書けるだけでは不十分だ。科学研究では、意味のある問いを見つけ、分野固有の制約を理解し、限られた計算資源で有効な実験を設計しなければならない。科学機械学習は、通常の調整作業を超えた能力を検証する場として適している。

Agent4Sciは、最先端エージェントが科学機械学習の既発表モデルをどこまで改善できるかを、長期的かつ実運用に近い条件で調べるテストベッドだ。対象は11分野にまたがる20のベンチマークであり、単純な順位付けではなく、どのような方法で進歩を生み出すかに焦点を置く。

主な結果

• 評価対象のエージェントは、すべてのベンチマークで既発表の最良結果を更新した。
• Claude Opusの平均相対改善は10.4%、Codexは4.4%だった。
• ただし改善の大半は、学習設定、モデル構成、データ処理など、既知の機械学習エンジニアリングの工夫から生じた。
• 軌跡分析では、新規性の見積もりの不正確さ、計算資源の活用不足、狭い局所探索への急速な収束という三つの弱点が目立った。
• 研究アイデアの発想、実験管理、定期チェックを行う軽量スキルを追加すると、Claude Opusは20.1%、Codexは8.1%まで改善し、分野に関連した多様な介入も増えた。

意義と影響

この研究が示すのは、「ベンチマークを改善すること」と「科学を行うこと」は同じではないという点だ。エージェントは大量の設計候補を効率よく探索し、既存モデルを上回れる。しかし、それだけでは新しい仮説を立てたり、異常の原因を説明したり、研究の方向を変える実験を設計したりしたことにはならない。

一方で、より大きなモデルだけが解決策ではない可能性もある。アイデアの記録、実験の追跡、資源の配分、段階的な振り返りをワークフローに組み込むことで、探索が狭い調整作業に偏るのを防げる。ただし、こうした仕組みは研究手順を整えるものであり、専門知識や科学的妥当性を自動的に保証するものではない。

今後はスコアだけでなく、再現性、説明可能性、未知の課題への転移、介入の科学的価値も評価する必要がある。Agent4Sciは、AIを「自動MLエンジニア」から、仮説を提案し、検証し、修正できる研究パートナーへ近づけるための出発点になる。

出典：Hugging Face Daily Papers