自律型研究エージェントはなぜ失敗するのか

導入

大規模言語モデルは、論文の要約や文章の下書きだけでなく、研究の一連の工程を担うようになりつつある。仮説の着想、文献検索、実験、分析、論文執筆、レビューまでを一つのエージェントが進める形は、しばしば「AutoResearch」と呼ばれる。しかし、最終的な報告書だけを採点しても、その過程で何が起きたのか、どこで研究が崩れたのかは分からない。

論文「How Do Agents Fail on AutoResearch」は、この問題に対してAutoResearchEvalを提案した。焦点は、答えの見栄えではなく、答えを生み出した完全な軌跡と中間成果物にある。

研究の全工程を追跡

評価セットは、発表済みの先端研究に基づく100件の実世界タスクで構成され、7つの科学分野にまたがる。対象となる工程は、研究テーマの発想、情報検索、実行、分析、執筆、レビューまでである。8種類のモデルとエージェント・ハーネスの組み合わせを評価し、合計800本の軌跡を収集した。

重要なのは、最終レポートだけを証拠にしていない点だ。研究者は操作ログ、ソースコード、実行ディレクトリ、データ、報告書を調べる。たとえば、要約に記された数値が保存された表と一致するか、方法の説明が実際に実行されたコードに対応するか、主張を具体的な実験結果まで追跡できるかを確認する。

正解が一つに定まらない70件のオープンなタスクでは、外部の模範解答との一致より、プロセスの厳密さと成果物間の整合性を重視する。判定パイプラインは専門家による校正を受け、専門家との一致率は0.83と報告された。つまり、外部正解がなくても、エージェント自身が残した成果物同士の矛盾から、説明の信頼性を調べられる。

45の失敗パターン

研究チームは観測結果をAutoResearch Failure Taxonomy（ARFT）として整理し、45種類の実証的な失敗パターンをまとめた。代表例は次の通りである。

• 失敗した方針への固執：機能しないツール呼び出しや研究手順を繰り返し、別の方法へ移らない。
• 局所最適化と早すぎる終了：一部の作業が完了した時点で、全体の目的を達成したと判断する。
• 理由は誤っているが結果だけ正しい：結論はもっともらしくても、推論や実験がそれを支えていない。
• 結果の幻覚と追跡不能な主張：報告された数値が実行成果物に存在しない、あるいは未実装の方法を実施済みとして記述する。
• 誤りの連鎖と目標の漂流：初期の未検証な判断が、検索、実験、分析、執筆を順に誤った方向へ導く。

これらは異なる段階で表れるが、共通する欠陥がある。エージェントは、自分が生成したものと、実際に見つけたもの・実行したものを十分に照合しない。また、矛盾を見つけた後に計画を修正したり、必要ならやり直したりすることも少ない。論文はこの不足を、確認、疑念、修正、再計画からなる「メタ認知ループ」の欠如として捉えている。

評価の限界と意義

ただし、評価がすべての本番障害を捉えるわけではない。著者らは、無関係な情報が段階的にコンテキストへ蓄積する問題を、独立した仕組みとして切り分けられていないと認めている。誤りの伝播や目標の漂流は観測できても、ハーネスが各ステップで組み立てたコンテキストをモデルがどう利用したかまでは完全に見えないためだ。

この研究の意義は、新しいランキングを加えたことだけではない。信頼できる研究エージェントには、検索やコード生成の能力だけでなく、文章とデータ、方法とコード、結論と証拠を突き合わせる検証点が必要だと示している。AutoResearchの次の課題は、論文を速く書かせることではなく、提出前に自分の研究のどこがまだ成立していないかを認識させることなのかもしれない。

Hugging Face Daily Papers