FrontierPhysics、AIが物理研究を最後まで遂行できるかを検証

導入

物理の質問に正しく答えられることと、物理研究を遂行できることは同じではない。既存のベンチマークの多くは、固定された問題、単独のサブタスク、あるいは既知の解法に沿った再現実験を評価してきた。そのため、AIが未解決に近い課題を調べ、妥当な計画を立て、検証可能な成果にまとめられるかは十分に分からなかった。

FrontierPhysicsは、このギャップを埋めるため、より実際の研究に近い一連の作業を評価対象にする。

主なポイント

• 物理学者がタスクを設計。 42人の物理学者が56タスクを作成し、理論、計算、実験物理にまたがる九つの領域をカバーする。提供された素材では個別タスクの内容までは示されていないが、研究者自身の研究経験を基盤にしている。
• 研究の全工程を要求。 エージェントは関連文献を調べ、研究計画を立案し、研究や実験を実行したうえで、構造化された成果物と科学論文の原稿を提出する。最終回答だけでなく、そこに至る過程も評価される。
• 正確さと出版可能性を分けない。 決定論的な検証器は明確に判定できる結果を確認し、専門家が作成した評価基準は推論の質や研究成果の出版可能性を評価する。
• 成功率はまだ低い。 22モデル、26構成を対象にした168回の試行で、46回を超えて合格した構成はなかった。個別能力のテストを通過することと、研究全体を成功させることの間には大きな差がある。
• 弱点は知識不足だけではない。 エージェントの軌跡を人手で分析した結果、より目立った問題は推論の厳密さ不足と専門家のような研究直感の限界だった。物理知識の欠落や実行ミスだけが主因ではない。

意義と影響

FrontierPhysicsは、科学研究におけるAIの能力を測る問いを変える。AIは論文を検索し、ツールを使い、自然な文章を書くことができても、仮定の妥当性を確認し、必要な検証を行い、証拠に見合った結論を出せるとは限らない。短い最終回答だけを見る評価では、こうした問題を見落としやすい。

この結果は、知識量やツール利用能力を拡大するだけでは高品質な研究能力に直結しないことも示す。物理研究を支援するエージェントには、仮説を比較する実験設計、不確実性の管理、自己検証、そして結論を急ぐべきでない状況を判断する能力が必要になる。

もちろん、FrontierPhysicsだけで研究エージェントの能力を完全に測れるわけではない。専門家の評価には領域判断が含まれ、56タスクが物理研究全体を代表するわけでもない。それでも、科学らしい文章の生成ではなく、問題設定から検証可能な論文までをつなぐ研究過程を評価する点で、重要な一歩といえる。

出典：Hugging Face Daily Papers