SeerGuard：モバイルGUIエージェントに実行前の安全確認を導入

モバイル向けのGUIエージェントは、アプリ操作を自動化できる一方で、安全面の難しさも大きいです。誤ったタップや確認操作が、削除、送金、誤送信などの取り返しのつかない結果を招く可能性があります。SeerGuard は、こうしたリスクに対して「起きてから止める」のではなく、「起こる前に見抜く」ことを狙った提案です。

フレームワークの要点

SeerGuard は、実行前に働く2つの防御層を持ちます。

• 指令レベルのスクリーニング：ユーザーの依頼が悪意あるものか、権限を超えていないか、明らかに危険でないかを確認します。
• 動作レベルのリスク評価：エージェントが候補として出した各アクションについて、現在のGUI状態と組み合わせて結果を予測し、安全性を判断します。

この考え方のポイントは、操作そのものだけを見るのではなく、その操作が画面上で何を引き起こすかまで先回りして考える点にあります。

実現方法

著者らは、Safety-Augmented World Model（SAWM） を構築し、複数タスク学習で学習しています。SAWM は主に次の2要素を統合します。

1. 意味的な次状態予測：操作後にGUIがどう変化するかを予測する。
2. 安全リスク評価：その変化が危険につながるかを判定する。

この統合により、画面遷移の理解と安全判断を同時に学べるため、単純なルールベースや後追いの判定よりも柔軟な防御が可能になります。

実験結果の示すもの

論文では、SeerGuard がさまざまなモバイルGUIエージェントに対して有効に働くことが示されています。Qwen3-VL-8B-Instruct では、ω=0.8 で safety-utility score が 0.191 から 0.596 に改善し、α=0.8 で risk-cost score が 0.347 から 0.130 に低下しました。さらに、SAWM の分析により、指令スクリーニング、動作リスク評価、次状態予測の各要素が役割を持つことも確認されています。

意義

この研究が示すのは、エージェントの安全性は「失敗後の修正」だけでは足りず、「実行前の予測」が重要だという点です。特に実アプリを操作するモバイルエージェントでは、事前に危険を察知できるかどうかが信頼性を大きく左右します。

SeerGuard は、世界モデルを推論や計画だけでなく、安全制御の中核として使えることを示した点でも意義があります。

出典: Hugging Face Daily Papers