MobilePA-Bench、複雑な実タスクでモバイルエージェントを評価

モバイルエージェントにとって、画面上のボタンを見つけて押せることは、実際の仕事を完了できることと同じではありません。複数のアプリをまたぐ依頼では、利用すべきツール、実行順序、権限、変化するアプリ状態を同時に扱う必要があります。途中でエラーが返れば、同じ操作を繰り返すのではなく、状況を読み直して計画を修正しなければなりません。MobilePA-Benchは、こうした能力を一つの環境で測ろうとする取り組みです。

既存評価の空白

モバイルエージェントのベンチマークには、主に二つの方向がありました。GUI中心の評価は、画面の認識やタップ、入力、スクロールといった表層的な操作を測る一方、バックグラウンドのツール利用や長い手順の計画を十分に扱えません。反対に、静的な関数呼び出し評価は、依頼に対応するAPIを選べるかを確認しますが、アプリの実行状態、厳密な順序、権限、実行時の失敗から切り離されています。

MobilePA-Benchは、実行可能なモバイルサンドボックスを採用します。環境にはライブなアプリケーションデータベースがあり、エージェントの操作に対して構造化されたフィードバックが返ります。そのため、各ステップは独立した問題ではありません。前の操作の結果が次の判断を変える、状態を持ったタスクになります。対象は13の機能領域、212の現実的なモバイルツールに及びます。

評価する能力

• インタラクティブなツール利用：ツール名を当てるだけでなく、引数を設定し、実際の応答に応じて次の行動を選びます。
• 長期計画：複数ステップにわたって、依存関係と順序を維持します。
• サブエージェント協調：複雑な依頼を分解し、専門的な作業を適切なサブエージェントへ委任します。
• メモリ利用：保存された記憶、ユーザープロファイル、過去の好みを参照し、明示されていない意図を補います。
• スキル利用：手順を毎回ゼロから考える代わりに、あらかじめ用意された複合スキルを呼び出します。

つまり、単発のツール選択ではなく、計画、実行、フィードバックの解釈、失敗からの回復を一つのループとして評価します。

実験が示すこと

論文概要によれば、現在の最先端LLMはモバイル環境でまだ安定していません。ツールの順序が厳密に指定される場合、権限に制限がある場合、予期しない実行時エラーが起きる場合に、性能が大きく低下します。理想化された関数呼び出しテストで良い結果を出しても、状態が変化し続けるOS上で同じ信頼性を発揮できるとは限らない、ということです。

この課題はツールの知識だけでは解決しません。エージェントは中間結果を確認し、メモリや複合スキルを使うべきタイミングを判断し、サブエージェントの出力を統合する必要があります。計画が合理的でも、状態確認やエラーからの復旧に失敗すれば、最終成果には到達できません。

意義と限界

MobilePA-Benchは、評価の焦点を画面上の操作から、アプリ状態、ツールエコシステム、実行時制約へ広げます。研究者にとっては計画システムを比較する、より実環境に近い対象となり、開発者にとっては権限管理、状態同期、順序制御、エラー回復を設計の中心に置くきっかけになります。

提供された素材には、モデル別の詳細スコアやタスクごとの内訳は含まれていません。そのため、性能差の具体的な原因を判断するには全文が必要です。それでも方向性は明確です。モバイルエージェントの競争は、画面を操作できるかではなく、環境が変化しても仕事を最後まで安定して完了できるかへ移っています。

Hugging Face Daily Papers