LEASH：不確実性でコンピュータ操作エージェントを段階的に強化

導入

コンピュータ操作エージェントは、単純な画面操作から、複数のアプリケーションをまたぐ長時間のタスクへと利用範囲を広げています。この種のタスクでは、すべてのステップに最先端モデルを使えば信頼性を高めやすい一方、推論コストが大きくなります。反対に、小型のオープンウェイトモデルだけで処理すると、見慣れない画面や連続した判断が必要な場面で失敗しやすくなります。

LEASHは、この二つの選択肢の間にある運用方法を提案します。通常は弱いエージェントが操作を続け、難しい状態だけ強いエージェントへ制御を渡します。さらに、強いエージェントへ引き継いだ後も監視を止めません。強いモデルはブラックボックスAPIで提供されることが多く、内部状態を直接確認できないためです。

三層構造の仕組み

LEASHの不確実性を利用した制御は、次の三つの段階に分かれています。

• タスク初期の振り分け：実行開始時に、タスクが弱いエージェントの能力範囲を超える可能性を推定し、必要なら早い段階で強いモデルへ回します。
• ステップ単位の昇格：弱いエージェントが各アクションを生成する際、すでに得られている活性値を再利用して、現在の状態の不確実性を評価します。追加のフォワードパスや専用モニターの学習を必要としない点が特徴です。
• 引き継ぎ後の監視：強いエージェントが操作を始めた後は、弱いモデルがシャドーオブザーバーとして振る舞います。外部から観測できる操作や環境の変化を手がかりに、強いエージェントがタスクの流れを見失っていないかを確認します。

不確実性の中心にあるのは、弱いモデルの隠れ状態です。現在の状態を、過去に成功した軌跡と失敗した軌跡の表現と比較し、失敗例に近いほどリスクが高いとみなします。これにより、別の不確実性推定器を新たに訓練するのではなく、アクション生成で既に計算された表現を制御信号として活用できます。

実験結果と意味

論文では、OSWorldを用い、四つの現代的なモデルバックボーンで評価しています。要約によれば、エスカレーション率をそろえた場合、LEASHはランダムに強いモデルへ切り替える方式を6.55～11.94ポイント上回りました。また、弱いエージェント単独の構成よりも一貫して高い性能を示しています。

Qwen3.5-35B-A3Bを使った構成では、1タスクあたり0.4117ドルのコストで73.66%のタスク成功率を報告しています。常時Claude Opus 5を使う構成の成功率72.90%に匹敵しながら、推論コストは19.2%削減されたとされています。重要なのは、モデルを固定的に選ぶのではなく、リスクが高い状態にだけ計算資源を配分する点です。

影響と留意点

LEASHは、コストと信頼性を両立したいエージェント開発者に、比較的導入しやすい設計を示します。小型モデルが高頻度の通常処理を担当し、強いモデルが難所を処理し、オブザーバーが引き継ぎ後の安全境界を担う構成です。追加学習を前提としないため、異なるモデルの組み合わせにも応用しやすい可能性があります。

一方、隠れ状態と過去軌跡の類似度が、常に実際の失敗リスクを正確に表すとは限りません。成功・失敗データの質やタスク分布にも左右されます。また、ブラックボックスの強いモデルを外部から監視する場合、観測可能な行動だけではすべての誤りを見つけられない可能性があります。LEASHは正しさを保証する仕組みというより、推論費用を抑えながら制御と監視を強化するための枠組みと捉えるのが適切です。

出典：Hugging Face Daily Papers