VisSearch-Benchが示す、マルチモーダルエージェントの長期視覚検索の壁

導入

現在のマルチモーダルエージェントは、ウェブ検索や画像ツールを呼び出し、内部知識だけでは答えにくい質問にも対応できる。しかし既存の検索タスクの中には、画像の役割が最初の対象を特定することだけに限られ、その後はテキスト検索だけで進められるものも多い。この構成では、エージェントが視覚情報を保持し、後続の証拠と結び付けているかを十分に検証できない。

VisSearch-Benchはこの問題に焦点を当てる。長期的な視覚検索では、物体の外観、局所的な細部、空間関係を整理し、それらを複数の検索ステップで得た外部情報と正しく接続しなければならない。

ベンチマークの要点

• 幅広いタスク構成：204件の人手作成タスクを、7つの主要分野と25のサブドメインに配置している。各タスクには参照回答、追跡可能な証拠、採点規則が用意される。
• 5種類の検索形式：Set-wise Visual Search、Sequential Visual Search、Hybrid Wide–Deep Search、Competitive Visual Disambiguation、Visual-Structure-Guided Searchを含む。複数対象の整理、視覚的手掛かりの連鎖、候補比較、曖昧な対象の識別、空間構造の利用をそれぞれ調べる。
• 過程も採点：タスク全体の成功率に加え、Process Scoreで個々の結果や小問への回答が正確かつ完全かを確認する。偶然正解したケースと、信頼できる検索過程を区別できる点が特徴だ。
• 完全解決率は低い：16のマルチモーダルモデルを比較した結果、最良のシステムでも完全に解決できたのは26.47%だった。検索機能を追加するだけでは、視覚コンテキストの問題は解消しない。

どこで失敗するのか

研究者の観察では、Set-wise Visual Searchで典型的な弱点が現れる。エージェントが確認を早く打ち切ったり、必要な情報を見つけた後も検索を続けたり、以前の誤った推測に戻ったりすることがある。関連画像を取得していても、視覚的証拠を確認せず、記憶や推測で不足部分を埋める場合もある。同じ対象を繰り返し検索すれば、画像の予算を消費し、コンテキストも長く複雑になる。

Hybrid Wide–Deep Searchでは、進展しやすいテキスト検索を優先し、視覚的な確認を後回しにする傾向が問題になる。画像が増え、対象や証拠が蓄積すると、「どの画像がどの対象を示すのか」「どの検索結果がどの判断を支えるのか」を記録し続ける必要がある。最後には、それらを一貫した回答へ統合しなければならない。

意義

VisSearch-Benchは、マルチモーダル評価を一枚の画像の認識から、証拠を管理する長期的な調査へ広げる。開発者にとっては、ツールを何回使ったかや最終回答の正解率だけでなく、視覚メモリ、証拠の索引化、検索を止める判断、ステップ間の整合性確認が重要になる。

この研究は特定のアーキテクチャの優位性を断定するものではない。むしろ、画像とテキストを個別には処理できても、両者を検証可能な推論の流れに組み立てる点で、現在のエージェントには共通の不安定さがあることを示している。研究支援や事実確認などの用途では、単発の画像認識より視覚コンテキストを維持する能力が重要になりそうだ。

出典：Hugging Face Daily Papers