ToolSpace、実際のツール実行軌跡から長期エージェント環境を構築

概要

長期的なタスクを実行するエージェントにとって、個々のツールを呼び出せることだけでは不十分だ。前の呼び出しで得たデータを次の操作へ渡し、状態の変化を追跡し、失敗時には適切にやり直す必要がある。ToolSpaceは、この問題に対して環境合成の順序を逆転させる。データベースを先に作るのではなく、実際のツール利用から環境を組み立てる。

手法の要点

• 実行軌跡から依存関係を抽出する。 実際のMCPサービスと公開エージェントコーパスの呼び出し履歴を分析し、隣接する呼び出しの間にあるデータ依存、状態依存、リトライ依存を決定的なルールで抽出する。これにより、重み付きのツール合成グラフを構築する。実際の実行で裏付けられた辺は、言語モデルが主観的に判定した関係よりも、現実のワークフローを反映しやすい。
• 必要な環境だけを合成する。 グラフをクラスタリングして環境を形成し、状態を変更するツールに対してのみデータベースを生成する。検索系またはステートレスなツールは記録済みの返り値を再生することで、不要な環境構築を避ける。
• 再実行でタスクを検証する。 状態を考慮したランダムウォークを行い、必要に応じてロールバックする。その後、実行可能な呼び出し列を自然言語のタスクとアサーションによる検査へ変換する。初期状態から正常に再生できたサンプルだけを残す仕組みだ。

実験結果

ToolSpaceはAutomationBenchとtau3-Bench Bankingをより難しいPro版へ拡張した。これらの評価では、7つの先端モデルのスコアが最大38.2ポイント低下した。これは、従来のベンチマークが長期的なツール合成の難しさを十分に測れていない可能性を示す。

7つの長期ツール利用ベンチマークでは、Qwen3.6-35B-A3Bの平均スコアが23.0から41.0へ向上し、強化学習を加えると43.2に達した。GLM-5.2も44.6から56.6へ伸び、Claude Opus 5に近い水準と報告されている。アブレーションでは、実行で裏付けられた辺がLLM判定の辺を明確に上回り、データと環境の規模を拡大するほど性能が向上した。

意義と限界

ToolSpaceの重要性は、ツールの現実性、ワークフローの実行可能性、結果の検証を一つの工程で扱う点にある。これは教師あり学習用データだけでなく、複数環境をまたぐ強化学習にも利用できる可能性がある。

一方、生成品質は元となる実行軌跡の種類と網羅性に依存する。特定のサービスや失敗パターンに偏った軌跡だけを使えば、構築されるグラフにも偏りが残る。今後は、より多様なサービスと失敗事例を含むデータで、環境をまたぐ汎化能力を検証する必要がある。

出典：Hugging Face Daily Papers