EdgeWise、重要な手順だけをクラウドへ委譲するエージェント設計
背景
長期的なエージェントタスクでは、状態の理解、計画、実行、エラーからの復旧を何度も繰り返します。すべてのステップをクラウド上の高性能LLMに任せれば高い能力を得やすい一方、軌跡が長くなるほど推論コストも増加します。EdgeWiseは、タスク中のすべての手順が同じ難しさではなく、高性能モデルが必要なのは一部の重要なステップだけだという点に着目しました。
仕組み
EdgeWiseでは、端末上の小型言語モデルが通常のソルバーになります。クラウドLLMは常時使う主役ではなく、必要な場面にだけ呼び出す補助役です。主な設計は次の通りです。
- ローカル優先:通常の手順を端末側で処理し、クラウドへの要求と高コストな推論を減らします。
- 選択的な委譲:より強い推論、計画、修正能力が必要な手順だけをクラウドへ送ります。
- ステップ単位の強化学習:タスクを解くことと委譲判断を共同で最適化し、個々の委譲が最終結果に与えた影響を細かく評価します。
- 外部ジャッジ戦略:外部の評価器を使い、いつ委譲すべきか、誰が判断するか、どのコンテキストを共有するか、どの頻度で呼び出すかを体系的に調べます。
つまり、単純に一定割合の処理をクラウドへ送る方式ではありません。タスクの進行状況や手順の難度に応じて、利用するモデルの能力を変えることが狙いです。頻繁に現れる定型的な操作は小型モデルが担い、結果を大きく左右する判断には強いモデルを割り当てます。
結果と意義
報告された実験では、SWE-Rebenchで最大62%、Terminal-Bench 2.1で最大34%の推論コスト削減を実現しました。純粋にLLMだけで実行する構成と比べ、性能は同等以上とされています。さらに、ローカルワークステーション上でもフレームワークを動かし、実際のエッジ・クラウド環境に近い条件で同程度の節約効果を示しました。
この研究の意義は、ローカルモデルとクラウドモデルの二者択一を避ける点にあります。コード作成やターミナル操作のように、手順の多くは定型的でも、一部の失敗が全体に大きく影響する用途では、モデル能力を段階的に配分する設計が有効になり得ます。
一方で、委譲の判断を誤ると問題が生じます。委譲が多すぎればコスト削減効果が薄れ、重要な場面を見逃せばタスク全体の失敗につながります。EdgeWiseは、この判断を固定ルールではなく学習可能なステップ単位の問題として扱い、エージェントの効率と信頼性を両立するための方向性を示しています。
コメント
ログイン状態を確認中…
コメントを読み込み中…