SearchHorizonBench：AIエージェントは「もう一度検索すべきか」を判断できるか

導入

AIエージェントにとって、検索回数を増やせば常に性能が上がるわけではありません。追加検索にはトークン消費、遅延、ツール利用コストが伴います。一方で、早く停止すれば、答えを大きく改善する情報を取り逃す可能性があります。重要なのは、質問が難しいかどうかだけでなく、「もう一度検索すればどれだけ改善するか」を見積もることです。

SearchHorizonBenchは、この判断を評価するためのベンチマークです。論文では、答えが成功する確率と、追加検索による利益を別の概念として扱います。前者は質問そのものの難度を表し、後者は検索を続けた場合に成功率がどれほど上がるかを表します。

主なポイント

• 実行履歴を大規模に収録：3,168問、45,632件の実行を含み、1,632問をホールドアウト評価に用いています。
• 検索効果と生成ノイズを分離：ペア化した継続実行と反復実行により、単発の生成結果の揺らぎではなく、追加検索の効果を測りやすくしています。
• 校正は改善するが、ゲイン予測は弱い：履歴情報によりBrier誤差は16.2%低下しました。ただし、検索ゲインの標準偏差は21.4ポイントで、検証された履歴ベース推定器が点推定で説明できた分散は2%未満です。
• 検索価値は行動の差につながる：基準となるトークン価格では、検索価値を利用した選択に、最善の固定行動を2.49ポイント上回る効用機会があり、その主因はゲイン情報でした。
• 比較可能な研究基盤を提供：固定された分割、再利用可能な履歴、強力なベースライン、採点ツールが用意されています。

意義と影響

この研究は、エージェント評価の焦点を「最終的に正解できるか」から「次の検索は割に合うか」へ広げます。成功確率が同程度の質問でも、追加検索によって得られる改善幅は大きく異なる可能性があります。この差を見抜けなければ、価値の低い検索に予算を使ったり、情報が必要な段階で停止したりします。

同時に、結果は履歴データの限界も示しています。過去の実行は全体的な成功確率の校正には役立ちますが、具体的な追加検索の利益を点で予測するには不十分です。今後は、過去の検索結果、ワークフロー上の現在位置、追加計算のコストなどを組み合わせる必要があります。SearchHorizonBenchは、検索を単純な二択ではなく、利益とコストを伴う意思決定として比較するための共通基盤になります。

Hugging Face Daily Papers