プロアクティブエージェントに必要なのは正確さだけではない

はじめに：答えるだけでなく、いつ動くかを判断する

現在の多くの LLM エージェントは、ユーザーからの明示的な依頼を起点に動く。質問を受け、情報を検索し、計画を立てて処理を実行する。一方、プロアクティブエージェントは、依頼が届く前から利用可能な計算資源を使い、必要になりそうな情報や作業を準備しようとする。

しかし、先回りすることは、そのまま有用性を意味しない。エージェントがタスクを正確に処理しても、ユーザーの状況を読み違えていれば役に立たない。また、タイミングの悪い通知や介入は、確認作業や管理負担を増やす。長期的には、一度の「正しいが場違いな」行動が、システムへの信頼を大きく損なう可能性がある。

3T 原則が示す三つの目標

論文は、プロアクティブな行動を次の三つの目標から設計する。

• Task Capability（タスク能力）：ユーザーに関係するニーズを予測し、価値のある作業を正しく実行できるか。
• Temporal Allocation（時間配分）：利用可能な計算資源と、結果が必要になる時期に応じて処理を割り当てられるか。
• Trust（信頼）：ユーザーの信頼を維持し、過信でも過剰な確認でもない適切な依存を促せるか。

三つの目標は常に一致するわけではない。早く処理すれば準備性は高まるが、結果が古くなったり、不要になったりする可能性がある。介入を深くすれば自動化の利益は増える一方、誤操作や監督の負担も大きくなる。したがって、正答率だけでエージェントを評価することはできない。

プロアクティブな行動を決める設計軸

研究は、タスク範囲、予測の時間的な先行幅、起動トリガー、処理を行うタイミング、介入の深さという五つの次元を提示する。これらは、何を予測するのか、どれほど先まで見るのか、どの変化で動くのか、いつ計算するのか、ユーザーの判断をどこまで代替するのかを定める。

実装面では、ユーザー、環境、タスク状態を継続的に表現する必要がある。基盤 LLM が推論や生成を担い、エージェントのハーネスが監視、計画、実行、対話を調整する。重要なのはバックグラウンド処理を追加することではなく、「観察を続ける」「準備だけする」「確認を求める」「直接実行する」という選択を状況に応じて行うことだ。

Proactivity-Gym の狙い

単発のベンチマークでは、介入が後続の対話に与える影響を捉えにくい。そこで論文は、複数日にわたるシナリオ、状態を保持する環境、ペルソナ条件付きのシミュレーションユーザーを備えた Proactivity-Gym を提案する。

23 通りのモデルとエージェントハーネス構成を評価した結果、3T の各側面には大きな性能差が見られた。また、LLM による評価はタスク能力と信頼を混同しやすいという。30 名を対象とした人間研究でも、介入が正しかったとしても、ユーザーの状況や期待と合わなければ信頼が急速に低下し得ることが示された。

意義と影響

この研究は、プロアクティブエージェントを「ツールを積極的に呼び出す仕組み」から、タイミング、権限、コスト、信頼関係を扱うシステムへと捉え直している。今後の評価では、何を完了したかだけでなく、なぜその時点で動いたのか、ユーザーが支援を望んでいたのか、その行動が次の依存関係をどう変えるのかを問う必要がある。

優れたプロアクティブエージェントは、最も頻繁に介入するものではない。計算をバックグラウンドに留め、必要な時に必要な深さで現れるシステムこそ、長期的な信頼を得やすいだろう。

出典：Hugging Face Daily Papers