CLIFT、ウェブエージェントの自己検証を訓練と推論時の選択に活用

概要

ウェブエージェントは、検索、フォーム入力、複数ページにまたがる操作など、現実的なブラウザタスクを実行できるようになっている。しかし強化学習では、依然として「タスクに成功したか」という二値の結果に頼る場面が多い。この信号は取得しやすい一方、長い操作列のどの行動が成功に貢献したのか、どこで失敗したのかを十分に示さない。各ステップを高性能な言語モデルに判定させれば情報量は増えるが、呼び出しコストが高く、実運用時に外部モデルを利用できるとも限らない。

CLIFT（Conformal Self-Verification for Web Agent Training and Test-Time Scaling）は、判定モデルから得た情報を繰り返し呼び出すのではなく、再利用可能な検証バンクとして蓄積する考え方を示す。エージェントは自分のブラウザ軌跡について自然言語の検証質問に答え、その回答を校正手続きによって訓練と推論時の判断に利用する。

仕組みの要点

• 自己検証による中間信号。 エージェントは行動を選ぶだけでなく、訪問したURL、画面状態、タスクの進捗について質問に回答する。最終成否だけでなく、途中の状態に関する信号を得られる点が特徴だ。
• URL条件の証拠を校正。 Compositional Conformal Certifierは、URLの範囲を条件にした証拠が、訓練時に利用する判定結果と整合する質問信号だけを保持する。さらに、極性を考慮したliftによって、正負の証拠に符号付きの信頼重みを与える。
• 基準報酬を下回らない設計。 検証器のスコアはステップごとの報酬に組み込まれるが、判定モデルの基準を差し引く形にはしない。不正確な自己評価が学習を直接悪化させるリスクを抑える狙いがある。
• 推論時の軌跡選択。 Conformal Trajectory Selectionでは、まず貪欲な軌跡を生成し、続いて多様な再試行を作る。凍結済みの検証器が各URL軌跡を要約し、保守的な多数決で現在の軌跡を置き換えるか判断する。この段階で外部ジャッジは呼び出さない。

結果と意味

プロジェクトの発表によると、WebArena InfinityではGemma-4、CLIFT、CTSの組み合わせがK=3で74.6%の成功率を達成し、ベースモデルを12.8ポイント上回った。VisualWebArenaでは、オープンモデルで作成したバンクを凍結GPT-5.5へ移し、K=4で53.7%の加重成功率を報告している。Online Mind2Webでは、同ベンチマーク向けの方策微調整を行わず、バンクの適応と再校正によって61.0%に達し、GPT-5.5の高努力設定より11.3ポイント高いとしている。これらはプロジェクト発表に基づく数値であり、比較条件は論文本文で確認する必要がある。

CLIFTの意義は、単純に複数回サンプリングすることではない。URL範囲、質問の極性、信頼重みを持つ判定情報を、訓練にも推論にも使える構造化された証拠へ変換しようとしている点にある。一方、自己検証が常に正しいわけではない。ページの状態を誤認したり、重要な確認質問を作れなかったり、ウェブサイトの変化に対応できなかったりする可能性は残る。校正は危険な信号を減らせても、正しさを保証するものではない。外部評価を長期的に再利用し、利用できない場面では慎重に意思決定するという設計は、今後のウェブエージェント研究で検討に値する。

出典：Hugging Face Daily Papers