Sauron：証拠を先に調べるエージェント評価

導入

長い手順を自律的に実行するエージェントを評価する場合、最終画面や最後に作られたファイルだけを確認すれば十分とは限らない。必要な証拠が環境の現在状態に残っていることもあれば、途中の操作履歴にしか現れないこともある。さらに、エージェント自身の「完了した」という報告を評価器が受け入れれば、実際には失敗している処理まで成功と判定してしまう。

評価結果が強化学習の報酬として使われる場合、この問題はより深刻になる。誤った成功判定が、早期終了や検査の回避、根拠のない成功報告を学習させる可能性があるからだ。論文「Evidence-First Agentic Verification」は、この課題に対してSauronという検証器を提案する。方針は明快で、結論を出す前に証拠を調べることである。

主な仕組み

• 状態とトレースを両方調べる。 現在の環境状態だけ、あるいは実行履歴だけを唯一の根拠とはせず、評価基準に関係する情報を対象に限定的な問い合わせを行う。
• 主張を出典で再検証する。 エージェントが操作の成功を主張しても、それは確認すべき仮説にすぎない。Sauronは対応する状態や履歴に、実際の裏付けがあるかを調べる。
• 重複調査を抑える。 問い合わせ範囲を制限し、同じ証拠を共有する基準をまとめて調査することで、コンテキスト使用量と無駄な処理を減らす。
• 監査可能な判定を返す。 どの証拠が判定を支えたのかを示すレシートを各結果に添付し、後から判断の理由を追跡できるようにする。

実験結果

評価には、100件のパーソナルアシスタント・エピソードから抽出した2586件の人手ラベル付き基準が使われた。8種類のバックボーンすべてで、Sauronは5つの検証器の中で最高のF1を記録し、最も強いベースラインであるGandalfより低コストだった。GPT-5.6 Solを使った場合、SauronのF1は0.96、Gandalfは0.92で、コストは23％低かった。特に、最終結果ではなく手順を評価する基準で差が広がった。

さらに、13種類の故障ファミリーを含む、故障注入を用いた対照テストも実施された。一部は報酬ハッキングを模したもので、Sauronは注入された失敗の97％を検出し、正常な対照の誤警告は2％に抑えた。他のベースラインに完全なトレースを与えた場合でも、Sauronが上回った。実際のエラーの検出と位置特定を測るTRAILでも、3つの品質指標すべてでGandalfとTRAIL独自の評価器を上回った。

意義と今後の課題

Sauronの意義は、評価器を単なる採点装置から、根拠を調査する検証システムへ近づけた点にある。自動的なタスク受け入れ、強化学習の報酬設計、エラー分析では、点数だけでなく、その判定を支える証拠を確認できることが重要になる。

ただし、今回の結果はパーソナルアシスタント課題、故障注入テスト、既存ベンチマークを中心としたものだ。状態が頻繁に変化する環境や、より専門的で開放的なタスクでも同じ問い合わせ方針が機能するかは、今後の検証が必要である。それでも、エージェントが長時間動作するほど、評価器にも「何が起きたか」を調査する能力が必要になることを示している。

出典：Hugging Face Daily Papers