AI研究エージェントの高得点は、本当の発見を証明できるのか

導入

AI研究エージェントがベンチマークで高得点を取ったとき、その結果は「テスト上でうまく動いた」ことを示すにすぎない。学習データや公開情報、過去の研究履歴から答えを再構成したのではなく、独立に発見したことまでは証明しない。カーネギーメロン大学の研究チームが提案するDiscovery Certification Protocol（DCP）は、この差を実行可能な監査として扱おうとするものだ。

プロトコルの要点

• まず有用な改善を確認する。 Gate 1では、封印された評価環境で、事前に定めた改善目標へ到達できるかを調べる。ここで確認されるのは有用性であり、発見そのものではない。
• 次に回復可能性へ挑戦する。 Gate 2では、比較対象となるエージェントに登録済みの初期情報と観測可能なWeb情報を与える一方、対象研究の履歴は隠す。同じ数値目標に到達する有効な方法が見つかれば、回復の証拠を提出しなければならない。有効な回復が一件でもあれば、DCP Coreは認証を否決する。
• 未回復には統計的な上限を求める。 Coreは十分な対照、観測された回復ゼロに加え、新しい登録済みエピソードでの回復確率について有限標本上限を要求する。少数回の失敗を「回復不能」と誤って解釈しないためだ。
• フィードバックの効果を分離する。 任意のGate 3では、同じチェックポイントから出発し、真のフィードバックと指定された中立方策を比較する。DCP Evidenceでは、独立した帰無校正と登録済みの効果マージンを経て、効果を追加する。

監査結果と意義

論文は、異なるモデルを使い、SQLite最適化と仮想触媒制御で完全なプロトコルを試した。各監査は96エピソードで回復ゼロとなり、回復率の上限は0.0468だった。対応付けられたフィードバック研究では、真のフィードバック条件で30件の回復があり、中立条件ではゼロだった。また、60ペアの帰無研究も校正を通過した。Core通過、回復、監査不完全という判定例も示され、常に肯定的な認証を出す仕組みではないことが分かる。

さらに、証拠を凍結した後は、LLMを使わない決定的な検証器で判定を再現できる。プロンプトやモデルの確率性、事後的な説明への依存を減らせる点は、監査の実務上重要だ。

残る課題

DCPの価値は、発見を一つのスコアではなく、性能、代替経路による回復、フィードバックの寄与という複数の証拠で定義した点にある。一方、開放的で長期的な研究では、初期情報、見えるWeb内容、目標指標、中立方策の設計が監査結果を左右しうる。今後は異なる分野で登録方法と回復手順を検証する必要がある。それでもDCPは、AI研究の評価に「高得点だけでなく、独立した経路を示せるか」という視点を加えている。

出典：Hugging Face Daily Papers