科学エージェントは最終回答だけでは監査できない：証拠と実行状態を追跡する

導入

科学用途の AI エージェントを評価するとき、最終回答が正しいかどうかだけを見るのは不十分である。エージェントは同じ結論に到達しながら、別の証拠を読み、別の資料を引用するかもしれない。また、途中の数値計算に静かな故障があっても、クラッシュせずにもっともらしい判断を返す可能性がある。BioAgent-DF は、この差を証拠、ツールの状態、実行履歴まで含めて監査した。

実験の要点

研究者は、科学計算の同じ位置に基準値と候補値を保存し、それらを元の座標へ復元・移植したうえで、正常なハードウェア上でエージェントを実行した。SciFact の実験では、Qwen3.5-4B と Gemma 3 4B IT が、複数の取得方法と主張の組み合わせで、読み取る情報や引用を再現性をもって変化させた。基準状態を完全に復元すると、元の証拠集合が戻る場合もあったが、最終判断は変わらなかった。ベースラインのプロンプトで観測された判断の変化が、明示的な例を加えたプロンプトでは再現しなかったケースもある。

この結果は、数値状態、順位付けされたリスト、エージェントが参照できる履歴の復元が、それぞれ異なる作業であることを示す。回答が一致していても、同じ証拠経路をたどったとは限らない。

より実務的な検証は、hERG 心安全性スクリーニングで行われた。静かな GPU 故障はクラッシュや NaN、無限大を発生させず、誤った数値を返した。その結果、ベンチマーク上で hERG 阻害剤とラベル付けされた K12252 と K1461 が、「パッチクランプ検査を行う」から「検査せず先へ進める」判断に変わった。一方、阻害剤と分類された化合物の総数は 402 件中 351 件で変化しなかった。集計値だけの確認では、対象と検査割り当ての変更を見逃してしまう。

データ整合性、有限値、確率範囲の基本検査は、16 個の故障源を一つも検出しなかった。線形層のチェックサムは 16 個すべてを検出した。ただし、測定した負荷では、ストリーミング検証により通常の前向き計算時間が 25.8% 増加した。

回復にも実行状態が関係する。エージェントが誤った値を読み取った後で予測ファイルだけを置き換えても、39 件の変更判断は一つも戻らなかった。読み取り前の実行状態を復元し、認証済みスコアを与えると、39 件すべてを回復できた。実験では誤った行動が実際に確定されることはなかった。

意義

科学エージェントの監査では、「何を結論したか」と「どの証拠と状態から行動したか」を分けて記録する必要がある。ツール入力、中間値、順位処理、引用、モデルのバージョン、実際のアクションを結び付けなければならない。誤った値がすでに後続処理やメモリへ影響した場合、正しいファイルを再配置するだけでは足りず、ロールバックと再実行が必要になる可能性がある。

すべてのエージェントが同じ挙動を示すという意味ではない。しかし本研究は、バイオメディカル領域で最終回答だけを評価することの限界を明確に示している。再現性には、回答だけでなく意思決定の来歴も含めるべきである。

出典：Hugging Face Daily Papers