AIの科学的判断力を本格評価:実験結果を予測するSPU
AI for Scienceの評価は、論文を読めるか、ソフトウェアを動かせるかという段階から、実験を始める前に有望な条件を見抜けるかという段階へ移りつつある。UniPat AIが公開したScience Prediction Universe(SPU)は、実際の湿式実験の結果をモデルから隠し、複数の条件や候補を結果の良い順に並べさせたうえで、実測値と比較する。
SPUが測るもの
SPUには116のタスクが含まれる。100件は85本の公開論文から作られ、16件は未発表の共同実験に由来する。対象は化学、材料科学、生物学、医学にまたがり、合計4207件の実験をカバーしている。
モデルは知識問題に答えるだけではない。研究目的を理解し、文献を検索し、計算手法を選び、科学ソフトウェアを導入しながら、8時間以内に予測を提出する。実行環境は8コアCPU、16 GiBメモリ、H20 GPU一枚で、原論文の実測結果を直接検索することはできない。
評価にはSpearmanの順位相関係数を使い、モデルの順位付けが実験結果とどれだけ一致したかを測る。また、多数のランダムな順位を作成して、偶然を超えた予測なのかも確認する。
先端モデルでも安定性に課題
初回評価は12モデル、13構成を対象に行われた。平均スコアの最高はClaude Opus 5.5の0.486だったが、各構成でランダム水準を超えたタスクはおよそ34〜52%にとどまった。検索や計算を素早く実行できても、最終的にどの証拠を重視すべきかを安定して判断できるとは限らない。
同じ分野でも、測定対象によって結果は大きく変わった。ある電解液タスクではイオン伝導率の順位予測が高い相関を示した一方、同じ材料の電気化学的ウィンドウではランダム水準を下回る場合があった。「化学に強い」という評価だけでは、具体的な測定目的への適性は判断できない。
計算量を増やしても精度は伸びない
SPUは推論強度についても重要な示唆を与えた。GPT-6 Astraでは、最高推論設定にすると中位設定と比べて実行時間の中央値が約4.8倍、APIコストの中央値が約5.3倍になったが、予測スコアはほぼ変わらなかった。実行記録からは、モデルが比較的早い段階で答えを固め、その後は小さな修正を続けていたことが分かる。
ツールの利用数やGPU計算の回数も、精度をそのまま保証しない。重要なのは、実験結果の順位を左右する物理量を計算しているか、そして新しい証拠によって誤った仮説を修正できるかである。
科学AIの評価を一段深くする
SPUの価値は、モデルの順位表を作ることだけではない。どの要因を判断材料に選んだのか、矛盾する証拠をいつ発見したのか、最終順位を変更したのか、追加の計算が役立ったのかを分析できる。
研究現場では、特定の実験にモデルを導入する前の適性確認に使える。開発者にとっては、複雑な計算を行うだけでなく、「計算している量は本当に実験が測る量なのか」と問い直す能力が必要だと示す。公開タスクと非公開実験を組み合わせた評価が続けば、科学エージェントの進歩を再現可能な予測結果で追跡できるようになる。
出典:量子位
コメント
ログイン状態を確認中…
コメントを読み込み中…