VerifierBench、LLMエージェントが作る検証器の信頼性を評価

概要

ツールを呼び出したり、環境を変更したり、コードを書き換えたりするLLMエージェントでは、タスクを完了するだけでは十分ではありません。結果が指示を満たしているかを判定する検証器が必要です。その判定は報酬の付与、合成データの選別、次の処理へ進めるかどうかに影響します。しかし検証器自体をモデルが生成する場合、検証器の品質も評価しなければなりません。

VerifierBenchは、この問題を正面から測定します。モデルには、タスクを解く際に利用できる指示と環境だけを与え、実行可能な検証器を書かせます。その後、隠しテストを使い、正しい解答を受け入れ、誤った解答を拒否できるかを確認します。

主なポイント

• 222タスクを収録し、ツール呼び出し、環境状態、コード変更の検証を対象とします。
• 4,993件の隠しテストには、異なる形式の正解、一般的な誤り、検証器を欺く攻撃が含まれます。
• 共通のエージェント環境で評価した19モデルの標準化平衡精度は10.6から62.1でした。
• 生成された検証器は誤答の拒否には比較的強い一方、正しい解答をすべて受け入れる能力が弱くなりがちです。
• 特定の出力形式、ツールの使い方、コード変更の形式を、タスクが要求していないにもかかわらず前提にする失敗が確認されました。

意義と影響

誤りを見つけられても、正しい解答を拒否する検証器は信頼できません。成功したエージェントへの報酬を誤って止めたり、有用な合成データを破棄したりする可能性があります。さらに自己テストも安全とは限りません。モデルが検証器と同じ誤った前提を持つ解答だけを試せば、問題は見逃されます。

そのため研究は、少なくとも一つの正解を受け入れるかだけでなく、タスクが許す別の正解も受け入れられるかを調べるべきだと提案します。単一の模範解答との一致ではなく、タスクが定める有効解の範囲を評価する考え方です。

関連ツールのGavelは、証拠ヘッダー、ドメインルールライブラリ、検証器作成の原則を組み合わせます。提供された素材によれば、Gavelを使ったGPT-6-astra構成はVerifierBenchで68.3を達成しました。ただしこれはツールで強化された構成の結果であり、19モデルの基準比較における10.6から62.1とは分けて解釈する必要があります。

自律エージェントが広がるほど、検証器は単なる補助スクリプトではなく、報酬と安全性を左右する境界になります。その品質を、タスク成功率と同じように測定する必要があります。

出典：Hugging Face Daily Papers