AgentProofBench、Webエージェントの再利用可能な検証器を評価

背景

Webエージェントにとって、出力を一度受理できることだけでは十分ではありません。要求が変化した場合にも同じ検証ルールを再利用でき、検証結果を次の行動へつなげられる必要があります。しかし従来の評価では、受理ルールの正しさと、エージェントが実際にタスクを完了できるかが別々に測られることが少なくありません。そのため、静的なテストに合格した検証器が、実行時にも役立つのかを判断しにくいという問題がありました。

AgentProofBenchは、この分離を埋めるための評価資源です。固定した受理ルール、保存されたWeb画面の開始状態、エージェントのプログラム、実行軌跡を同じ枠組みに収め、検証テストと後続の実行を対応付けます。対象は4つのWebサービス、97タスク、79タスクファミリーです。単一の正解率だけでなく、要求の判定がプログラム制御と最終的な納品にどう影響したかを追跡します。

主なポイント

• 再利用性を明示的に検証。 完全パネルテストと決定再現テストにより、ルールが一度だけ正しいかではなく、後続の状況でも機能するかを調べます。48ファミリーでは、DeepSeek Flashで96個中82個、DeepSeek Proで96個中79個のソースプログラムが保持されました。
• 再利用と再構築の差を測定。 再利用と再構築を比較したBland–Altman区間は、Flashで-5.47から1.57ポイント、Proで-10.16から0.00ポイントでした。既存の検証器を使う場合と作り直す場合の差を、具体的な統計指標として扱えます。
• パネルの誤りが実行結果と結び付く。 22の実行ファミリーでは、パネルに誤りがない33割り当てのうち32件が、2つの保存済み開始状態からともに正しく納品できました。一方、パネルに誤りがある11件では、同じ条件を満たしたのは1件だけでした。論文によれば、参照ルールで定義されたプログラムゲートの回帰と納品の抑制は、後者のグループに集中しています。
• 比較用の基準を提供。 検証した一般的なフィードバック条件では、中立的な継続が最も高い正しい納品率を示しました。これは万能な方策という意味ではなく、ゲート機構の追加価値を測るための基準です。

意義

AgentProofBenchの重要性は、「正しい検証器」と「役に立つ検証器」を分けて考えられる点にあります。要求テストには合格しても、パネルの誤り、決定の再現失敗、状態処理の問題によって、エージェントの次の行動を誤らせる可能性があります。本ベンチマークでは、指示、状態、プログラム、参照ルール、軌跡が公開されており、検証上の失敗を具体的な実行上の結果へ追跡できます。

今後のWebエージェント評価では、検証器を単なる最終採点器として扱うだけでは不十分です。要求を正しく判定できるかに加え、プログラムゲートやフィードバック信号として安全かつ一貫して機能するかを確認する必要があります。AgentProofBenchは、その二つの層を同時に評価するための実践的な土台を提供します。

出典：Hugging Face Daily Papers