PANINI-DR、検証可能な共有ワークスペースで深層リサーチを制御

導入

深層リサーチは、検索を何度も実行して要約を作るだけの作業ではありません。難しい調査では、どの下位問題から着手するかを決め、中間的な発見をつなぎ、モデル呼び出しをまたいで研究状態を保持しなければなりません。さらに、根拠の弱い結論が後続の推論へ広がる前に検証する必要があります。PANINI-DRは、この過程を一度きりの回答生成ではなく、継続的で検査可能な調査として設計します。

仕組み

PANINI-DRは、全体の調整と個別の調査を分離したマルチエージェント基盤です。調整役は主題を下位問題に分解し、それらの依存関係を管理し、既存の発見に応じて次の作業を割り当てます。研究役は個々の下位問題を調査します。検証役は独立して、提案された回答が割り当てられた問題に答えているか、引用された根拠が結論を実際に支えているかを確認します。

各エージェントはGenerative Semantic Workspaceを介して連携します。ここには最終回答だけでなく、下位問題、依存関係、調査結果、裏付けとなる証拠が記録されます。後続の作業は過去の発見を利用でき、検証で不十分さが見つかれば追加調査を開始できます。この永続的な表現により、モデル呼び出しの終了時に状態が失われにくくなり、誤りがどの段階で入り込んだかも確認しやすくなります。

評価結果

論文ではBrowseComp-Plus、FRAMES、MoNaCoを使い、7つの深層リサーチ基盤と比較しました。すべてのシステムは同じ言語モデルの基盤と固定されたコーパスを利用しており、モデル能力や外部情報へのアクセス差を抑えています。

BrowseComp-Plusでは、PANINI-DRが73.3%の正解率を達成し、次点の基盤を16ポイント上回りました。難問での差はさらに大きく、50問中26問に正解し、次点のほぼ2倍となりました。一方、この改善には推論コストの増加が伴います。したがって、エージェントを増やせば常に性能が上がるという意味ではありません。

アブレーションでは、構造化された計画と永続的な状態管理が性能向上に寄与することが示されました。また、各発見を再利用する前に引用証拠と照合すると、結果はさらに改善します。研究チームは正解率だけでなく、保存された証拠から最終回答を復元できるかも調べました。PANINI-DRは3つのベンチマークすべてで最高の回答復元性を示し、主張と根拠の対応を調べる監査でも、証拠に基づく回答が強いことが確認されました。

意義と課題

重要なのは、単にスコアを上げたことではありません。「正しい回答」と「根拠によって支えられた回答」を分けて評価できる点にあります。レビュー、監査、共同作業が必要な調査では、構造化されたワークスペースが中間判断と情報源の記録を提供します。モデルが記憶だけで正解し、どのように結論へ到達したか説明できないリスクも抑えられます。

その代わり、計画、検証、推論に追加のコストが発生します。実運用では、コストや遅延と、問題の難しさおよび証拠要件のバランスを取る必要があります。それでもPANINI-DRは、研究エージェントが検索と文章生成だけでなく、状態と依存関係を管理し、結論の出所を継続的に示すべきだという方向性を示しています。

出典：Hugging Face Daily Papers