SciΠvotが検証する、LLMは研究の転換点を判断できるのか

導入

科学研究向けのAIエージェントは、限られた人間の監督で長期間実験を進められるようになりつつあります。しかし、自律的に研究を続けるには、ツールを使って実験を実行する能力だけでは不十分です。実験結果が思わしくないとき、計画を続けるのか、条件を変えるのか、それとも研究の方向を転換するのか。こうした判断は研究全体の文脈に依存するため、単純な正解付きテストでは測りにくい課題です。

SciΠvotは、この科学的判断を直接評価するために設計されました。

ベンチマークの仕組み

研究チームは、6か月にわたる実際の研究記録を利用しました。その期間、上級研究者は6つの科学分野にまたがる26のプロジェクトでLLMエージェントを運用し、エージェントの研究判断を必要に応じて修正しました。こうして248件の事例が集められました。

各事例でモデルが選ぶのは、エージェントが最初に出した計画と、研究者が後から提示した修正版です。モデルには修正前に存在したプロジェクト記録だけが与えられ、研究者がなぜ計画を変えたのかという説明は示されません。したがって、既に専門家の答えを見て同意するのではなく、判断時点の証拠からより妥当な方向を見抜けるかが問われます。

主な結果

• プロジェクト記録を与え、中程度の推論量を使うと、モデルは人間の修正版より元のLLM計画を体系的に選びました。
• 評価対象となった5つの最先端モデルのうち4つは、選ばれた事例で偶然水準を下回りました。
• プロジェクト条件でのモデル最高精度は63.5%で、新しい研究者の73.4%を下回りました。
• 中程度の推論量では、プロジェクト記録を追加したすべてのモデルで、記録なしの場合より精度が下がりました。
• 再検討を促しても、全体精度は一貫して改善しませんでした。

なぜ情報追加が逆効果になり得るのか

研究履歴には有用な手がかりが含まれる一方、初期仮説や古い前提、試行錯誤のノイズも含まれます。モデルは、すでに形成された筋の通った説明に引きずられ、研究の方向が問題になっていても元の計画を維持する可能性があります。つまり、コンテキストを増やすだけでは科学的判断は向上しません。重要なのは、どの情報が意思決定を変える証拠なのかを識別することです。

この結果は、LLMが研究に役立たないことを意味しません。また、すべての場面で人間の修正が正しいと証明するものでもありません。SciΠvotの事例は、研究者が実際に介入した場面から作られているため、経験豊富な研究者が変更すべきと判断した決定をモデルが認識できるかを測るものです。

意義

SciΠvotの重要性は、「研究者らしい判断」という曖昧な能力を、再現可能な比較課題に変えた点にあります。研究エージェントの評価では、実験を実行できるか、コードを書けるかだけでなく、証拠が弱まったときや仮説が行き詰まったときに方向転換できるかも確認する必要があります。

推論量を増やしたり、完全なログを与えたりするだけでは、信頼性は保証されません。今後は、代替案の比較、判断を変える証拠の明示、不確実性の提示をエージェントに促す設計が重要になります。SciΠvotは、研究自動化の核心的な問いを示します。エージェントは研究の流れを理解しているのか、それとも開始した計画を延長しているだけなのか、という問いです。

出典：Hugging Face Daily Papers