企業エージェントに必要なのは検索力だけでなく、記録を信頼できるか判断する力

はじめに

企業のナレッジベースは、整然とした一つの正解集ではない。プロジェクトの決定事項が最初にチャットへ投稿され、その後に文書化され、さらに会議資料や図表の改訂版で変更されることは珍しくない。こうした記録が一致しない場合、企業エージェントは単純な検索では対応できない。どの証拠が関係するのか、どの情報が新しいのか、そして結論を支える材料が十分かを判断する必要がある。

MMEnterprise-Benchは、この現実に近い状況を評価するためのベンチマークだ。30の模擬協働プロジェクトから7,140件のテキストおよび視覚記録を集め、1,613問を作成している。情報が共有、訂正、改訂されるワークスペースで、マルチモーダルエージェントがどれだけ信頼できる回答を導けるかを調べる。

主なポイント

• 評価対象は証拠の検索だけではない。 問題は証拠推論、矛盾解消、回答不能性の認識という三つの領域に分かれる。文書、チャット、図表などを組み合わせ、単一のキーワードに依存せず答えなければならない。
• 矛盾には複数の形がある。 異なる情報源が同じ事実について別の内容を示す場合もあれば、後の記録が以前の内容を修正する場合もある。最新の記録を自動的に正解とみなすだけでは不十分だ。
• 複数画像の推論は難しい。 必要な情報が複数の画像に分散すると、モデルはまず各部分を統合し、その後に推論する必要がある。単一画像への回答より誤りが起きやすい。
• 「答えられない」と判断する力も重要だ。 根拠が不足しているとき、信頼できるシステムはもっともらしい内容を補わず、結論を確定できないと示すべきである。
• 検索量を増やしても万能ではない。 検索予算や検索器の規模を大きくすると証拠の再現率は上がるが、回答精度が一貫して向上するわけではない。課題は発見よりも、証拠の解釈に移っている可能性がある。

評価が示すこと

研究では、10種類の商用およびオープンソースのマルチモーダルLLMを評価した。最も強いモデルでさえ、情報源間・時間的な矛盾や複数画像をまたぐ問題に苦戦したという。企業エージェントの品質は、検索でどれだけ多くの証拠を拾えたかだけでは測れない。証拠同士の関係を説明し、競合する版を区別し、不確かな場合に断定を避けられるかが重要になる。

意義と影響

企業向けシステムでは、記録に出典、版、時刻の情報を保持し、検索結果にも判断に必要な文脈を含めることが求められる。モデル側では、コンテキストを拡大するだけでなく、矛盾検出、証拠の順位付け、異なるモダリティの統合、不確実性の表現が重要な研究課題になる。

回答できるエージェントが、そのまま信頼できるエージェントとは限らない。実用的なアシスタントには、証拠に裏付けられた結論、複数の版が競合する事実、そして現在の記録だけでは解決できない問いを区別する能力が必要だ。

出典：Hugging Face Daily Papers