ツールが変わり続ける環境に、エージェントは追随できるか

導入

多くのエージェント評価は、ツール環境が安定していることを前提にしている。ツールは存在し、インターフェースは変わらず、文書も信頼でき、以前に成功した手順を再利用できるという想定だ。しかし実際のソフトウェアエコシステムでは、サービスが停止したり、別のサービスに置き換えられたりする。似た機能を持つツールが複数現れることもあり、文書が不完全でノイズを含む場合もある。

この状況で問われるのは、単にツールを呼び出せるかどうかではない。環境が変化したときに、新しい実行経路を見つけ、古い手順を修正しながらタスクを完了できるかどうかである。

Δτ-Benchの要点

• 変化するエコシステムを実行可能な形で再現。 Δτ-Benchは、大規模なツール環境の構造的な変化をモデル化するベンチマークだ。42分野の1588件の検証済みマルチターンタスクと、6つの連続するエコシステム状態で構成される。
• 移動する能力の境界を評価。 状態が変わると、使い慣れたツールが消えたり置き換えられたりする。一方で、機能が重複しながらも、より効率的な代替ツールが現れる。エージェントは過去の手順をそのまま再生するのではなく、新しい経路を能動的に探索しなければならない。
• 手順知識の更新も測定。 一回のタスク成功だけでなく、蓄積した手続き的知識を更新できるか、壊れたワークフローから復旧できるかも評価対象になる。
• 技能学習の効果には限界。 論文によれば、評価された中で最も強いモデルまたはハーネスでも成功率は42.3%だった。既存の技能学習法は初期の改善をもたらす場合があるが、環境の変化に対する適応へ安定してつながるとは限らない。

Stewardが示す方向性

この課題に対し、論文はStewardというエコシステム管理器を提案する。Stewardは、ツールの管理と手順技能の管理を別々に扱うのではなく、実行中の動的なツール提供と、技能の段階的な保守を組み合わせる。

古いツールが使えなくなった場合にはワークフローの復旧を支援し、より効率的な代替手段が現れた場合には、新しい経路への移行を促す。論文の要約では、Stewardは環境の変化が続く状況でも高いタスク成功率を維持し、技能保守の負担を抑えた。また、途切れたワークフローからの復旧と、効率的な代替手段の採用も改善したとされる。

意義と影響

Δτ-Benchの重要性は、エージェント能力の基準を広げた点にある。静的な評価では、固定された環境で計画し、ツールを呼び出し、手順を記憶できるかが中心になる。これに対して本ベンチマークは、「環境が変わること」を前提にする。企業向けサービス、ソフトウェア連携、オープンなツールエコシステムの現実に、より近い見方だ。

今後は、単発の成功率だけでなく、新しいツールを見つける速度、失敗からの復旧、知識更新のコスト、より良い代替手段を選ぶ能力も評価する必要がある。手順を学ぶことと、その手順が成立する環境を失っても役に立ち続けることは、別の能力なのである。

出典：Hugging Face Daily Papers