AIエージェントは物理研究を本当に完結できるのか

導入

科学向けAIを評価する際、もっともらしい数式や計算を生成できるかだけでは不十分になっている。より重要なのは、明確な研究目標に沿って調査を組み立て、必要な証拠を見極め、結果を検証し、結論が適用できる範囲まで確認したうえで、研究課題を終えられるかどうかだ。PhysClosureBenchは、この能力を測るために提案されたベンチマークである。

局所的な正しさと研究の完結を分離

ベンチマークには、強電場物理、アト秒物理、およびその周辺分野にまたがる50の専門家検証済み課題が含まれる。各課題は研究目的と重要な科学的制約を示す一方、具体的な調査手順はエージェントに委ねる。エージェントは、どのような計算や分析を行うか、どの証拠を集めれば問いに答えられるかを自ら判断しなければならない。

評価指標は二層に分かれている。

• Atomic Scoreは20の基準により、分析、計算、証拠整理など、局所的な科学的達成度を評価する。
• **Research Closure（RC0—RC4）**は、不可欠な証拠がそろい、結論の物理的な適用条件も満たされているかを基に、研究課題がどこまで解決されたかを測る。

つまり、いくつかの手順を正しく実行することと、研究目標を十分に裏付けて終えることは同じではない。後者には、目的、証拠、限界、結論を一つの論理的な流れに接続する必要がある。

評価結果が示すもの

7つの最先端LLMを評価した結果、Claude-Opus-5は平均Atomic Scoreで最高の6.29/10を記録した。しかし、最高段階のRC4に到達した試行は32.7%にすぎない。Atomic Scoreが8以上の試行でも、36.2%はRC4に届かなかった。局所的に高品質な作業ができても、結論全体を証拠で閉じられるとは限らない。

さらに、3回の実行を比較すると、7モデルすべてで、全試行におけるRC4到達課題数が、少なくとも1回の実行で記録した最高値を大きく下回った。これは、研究の完結能力に再現性の問題があることを示している。

意義と今後の課題

事例分析では、AIが自ら生成した結果を誤って解釈すること、そして結論の物理的な適用範囲を解消しないことが、研究完結を妨げる要因として示された。科学エージェントに必要なのは、公式やコードを作る力だけではない。欠けている証拠、未確認の条件、結論を弱めるべき範囲を自覚する能力も不可欠である。

PhysClosureBenchは、科学AIの評価を「答えが正しそうか」から「研究を終えるのに十分な証拠があるか」へと広げる。今後は、証拠の計画、結果の監査、適用範囲の確認、不確実性の表現を一体化することが、信頼できる研究協働者を作る鍵になるだろう。

出典：Hugging Face Daily Papers