AIエージェントは開かれたAI研究を進められるのか：2つの影評価が示す初期証拠

導入

AIの急速な進歩をめぐる予測の多くは、「AIエージェントがAI研究そのものを自動化する」という前提に依存している。しかし、その前提を支える実証的な証拠はまだ限られている。既存の評価は、正解が明確で自動採点しやすい狭い課題に偏りがちであり、実際の研究に含まれる曖昧さや判断の難しさを十分に捉えていない。

この論文は、別の評価方法として「シャドー評価」を提案する。エージェントに単純なベンチマークを解かせるのではなく、高品質な未発表論文が扱う中心的で開かれた研究課題を任せる。そして、その論文の元の著者が、エージェントの成果物を評価する。

重要なポイント

• 現実の研究に近い課題設定：評価には、未発表のNeurIPS 2026投稿2件が使われた。
• 十分な時間と計算資源：フロンティアエージェントには6日間と数千ドル規模の計算資源が与えられた。
• 実装面はこなせた：論文によれば、エージェントは人間の助けなしに必要な工学的作業を完了した。
• 研究上の前進は限定的：一方で、中心的な研究質問に対して実質的な答えを出すことはできず、2件の成果物はいずれも元の著者に明確に拒否された。
• 別設定でも失敗が再現：第2のモデルとスキャフォールドを使った確認でも、同様の失敗傾向が見られた。

著者らは、繰り返し現れた失敗を5つに整理している。発表可能な研究水準に対する判断の弱さ、研究設計の欠陥に対する創造性の低さ、行き詰まりからの効果的な後戻りの失敗、時間や計算資源への意識不足、そして指示から徐々に外れていくドリフトである。

意義と影響

この結果は、AIが研究に使えないという単純な結論を示すものではない。むしろ、現在のエージェントがAI研究の中の実装や実験運用といった部分をかなり担える可能性を示している。問題は、研究の本質的に難しい部分が、コードを書くことだけではなく、方向性を選び、失敗を見抜き、設計を作り直し、限られた資源を配分することにある点だ。

AI研究の自動化を評価するには、ベンチマークのスコアや単発のデモだけでは不十分である。研究ライフサイクル全体、特に判断と創造性が必要な局面を測る必要がある。今回のシャドー評価は事例数が少なくコストも高いが、エージェントが単なる実行役から研究協力者へ近づいているのかを測るための、より現実的な方向を示している。

出典：Hugging Face Daily Papers