行動する前に比較する：長期ツール利用エージェントの価値推定

導入

大規模言語モデルが外部ツールを使って複雑なタスクを実行するようになると、次に選ぶ一つの操作が、その後の経路全体を左右することがあります。検索、データ取得、ファイル操作、API呼び出しなどはタスクの状態を変更し、次に利用できる選択肢や、必要となる判断を変えてしまいます。そのためエージェントには、目の前の操作が自然に見えるかどうかだけでなく、最終的な成功に役立つかを事前に見積もる能力が求められます。

論文「Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents」は、この課題に対してComparative Inference for Tool-use Agents（CITA）を提案しています。中心となるComparative Inference Model（CIM）は、同じコンテキストにある候補ツール呼び出しを比較し、実行前に次の行動の価値を推定します。

主なポイント

• 最終報酬だけに依存しない。 長い操作列では、報酬がタスク終了時の成功または失敗に限られることが多く、個々の呼び出しにどれだけ責任があるかを判断しにくくなります。CITAは、次の一手に対する長期的な価値を、より細かい形で推定しようとします。
• 単独評価ではなく比較を行う。 ログには実際に選ばれた呼び出ししか残らず、別のツールを選んだ場合の結果は直接観測できません。そこでCITAは、同じ状況における代替呼び出しを比較する教師信号を構成します。
• 複数の信号を統合する。 CIMは、観測されたツールの振る舞い、ベイズ型ツールグラフ・シミュレーターによる拡張可能な監督、LLMによる意味的な比較判断を組み合わせて学習します。
• 実行前の選択を支援する。 CIMは、候補となる呼び出しが最終成功に寄与する可能性を推定します。エージェントはこの推定を使い、生成時の直感だけに頼らず、次の行動を順位付けできます。

意義と影響

CITAの重要性は、ツール利用の評価を「完了した軌跡の事後判定」から「実行前に候補を比較する判断」へ広げた点にあります。各操作を独立した分類問題として扱うのではなく、操作が状態を変え、その後の選択肢や最終結果に影響する過程として捉えています。複数回の検索、計画、外部操作を必要とするタスクでは、初期の誤りが後続の選択を狭めるため、この見方は特に有用です。

論文の要約によれば、CITAは3つのツール利用ベンチマークと複数の基盤LLMでTool F1およびタスク成功を一貫して改善しました。また、CIMがツール選択を比較するためのステップ単位の価値推定を学習したことも分析されています。提供された素材には具体的な改善幅や各監督信号の寄与は記載されていないため、詳細な評価は本文の実験設定と併せて確認する必要があります。それでも、行動できるエージェントから、行動の行き先を先に比較できるエージェントへという方向性は明確です。

出典：arXiv