LifeSearchが示す、現実の生活課題で深度調査AIが苦戦する理由

はじめに

深度調査（Deep Research）エージェントは、ウェブを長時間検索し、複数段階の推論を行い、得られた証拠を一つの報告書にまとめます。短い質問に答えるチャットボットより実用的に見える一方、文章が整っていることと、内容が信頼できることは同じではありません。従来のベンチマークは学術研究や合成タスクに重点を置くことが多く、日常生活や仕事で生じる複雑な調査を十分に評価していませんでした。

Tencent Hunyuanの研究チームが発表したLifeSearchは、この空白を埋めることを目指します。評価対象は文章の流暢さだけではありません。必要な情報を見つけ、条件を漏れなく扱い、具体的な主張を確認可能な証拠で支えられるかを調べます。

主なポイント

• 現実的なタスク構成。 7つの具体的な生活・生産性領域から、203件の中国語・英語タスクを収録しています。実際のユーザー問い合わせをもとに、多段階検索、情報比較、推論、証拠統合を要求します。
• 細かな評価基準。 4,500時間以上の人的アノテーションを通じて、4,000件を超える専門家作成のルーブリックを構築しました。報告書の網羅性と正確性に加え、数値、単位、日付、URLも確認します。
• 統一された比較。 12種類の先進的な深度調査エージェントを同じ評価基盤でテストし、総合点だけでなく、検索、事実確認、結果整理における失敗パターンも分析しています。
• 最高点でも余地が大きい。 論文によれば、最も高い成績を示したフロンティアエージェントGPT-5.6 Solの得点は63.4%でした。見栄えのよい報告書でも、重要情報の欠落や細部の誤り、証拠と結論の不一致が起こり得ます。
• 人間の判断と整合。 候補となる大規模言語モデルの審査結果を人間のルーブリック評価と比較し、さらに人間による順位付けを実施しました。集計スコアとの相関は、Spearmanのρが0.89、Kendallのτが0.81と報告されています。

意義と影響

現実の調査には、唯一の正解が存在しないことが少なくありません。複数の条件を同時に満たす必要があり、情報源は分散し、単位や更新日も異なります。そのため、「詳しそうに見えるか」だけを判定する評価では、実務上重要な失敗を捉えにくいのです。

LifeSearchは、文章生成から、証拠に基づくタスク完遂へと評価の焦点を移します。エージェントは情報を探して文章にまとめることが得意でも、要件を追跡し、数値を検証し、長い調査過程の整合性を維持することには弱さが残ります。63.4%という結果は、現行システムが有用な補助者ではあっても、確認なしで任せられる段階にはないことを示す指標です。

開発者にとっては、検索計画、出典付与、細部抽出、最終チェックのどこに問題があるかを調べる手がかりになります。利用者にとっては、長く自信ありげな報告ほど、重要な主張を自分で確認する必要があるという教訓になります。今後は、情報を多く集めるだけでなく、各証拠がどの結論を支えるのかを明確にし、漏れや矛盾を出力前に検出する能力が求められます。

出典：Hugging Face Daily Papers