検索から調査へ：OpenDSが実WebでAIエージェントを評価

導入

現在のAI検索エージェントは、検索エンジンを呼び出し、Webページを開き、引用付きの回答を作成できる。しかし、関連ページを見つけることと、信頼できる調査を最後まで完了することは同じではない。実際のWebでは、情報が複数の独立したソースに分散し、テキスト以外の形式や複雑な操作の先に証拠が置かれている場合もある。エージェントは調査中に検索方針を変え、複数の手掛かりを検証し、最終的に一意で事実に基づく答えを導かなければならない。

この課題を扱う研究が、OpenDSタスクとOpenDS-Worldベンチマークを提案する論文「Deep Search in Real-World Web Environments」だ。

主なポイント

• 静的検索から実Webへ移行。 OpenDSでは、固定された資料から答えを探すだけでなく、Web検索、ブラウザ操作、証拠処理ツールを使って実Webを自律的に探索する。
• 異質な情報を組み合わせる。 OpenDS-Worldは200タスクで構成され、異なる情報モダリティ、ファイル形式、対話的なアクセス要件を含む。証拠の有効性と答えの一意性は、人手によって独立に確認された。
• 高性能モデルでも安定しない。 統一されたツール環境と実行手順で12の最先端モデルを評価した結果、最高精度は39.0%だった。言語能力やツール利用能力だけでは、端から端までの調査成功を保証できない。
• 人間にとっても難しい。 1000回の独立試行による人間評価の精度は21.1%だった。モデルと人間では利用方法や作業戦略が異なるため単純な優劣とはいえないが、タスク自体の難度を示している。
• 問題は検索だけではない。 ツールの使い方、検索コスト、終了判断、失敗からの復帰を分析すると、モデルごとに調査戦略が大きく異なった。ツール連携と長い検索経路の管理は共通の弱点である。

意義と影響

OpenDSの重要性は、ディープサーチを最終回答の正誤だけで評価しない点にある。エージェントは検索範囲を広げるか、特定のソースを深掘りするか、形式の異なる資料をどう読むか、どの証拠で結論を支えられるかを判断しなければならない。途中で行き詰まった場合に、戻って別の経路を試す能力も必要になる。

このベンチマークは、今後の改善領域を明確にする。タスク分解と検索計画、証拠チェーンの管理、ブラウザ操作、失敗時のリカバリー、そして不確実性の提示が重要だ。優れたエージェントは答えを出すだけでなく、どの証拠から答えを導いたのかを説明し、証拠不足も認識できなければならない。

利用者にとっての結論は明快だ。現在の深度検索エージェントは有望な調査補助である一方、監督なしで事実確認を任せられる自律研究員にはまだ達していない。

出典：Hugging Face Daily Papers