iPrefBench、モバイルエージェントの「推測」と「質問」を評価

導入

スマートフォン上でボタンを押し、フォームを入力し、複数のアプリをまたいで処理できることは、ユーザーの代理として正しい判断をすることとは異なる。実際の依頼には、しばしば重要な情報が含まれていない。たとえば、誰にメッセージを送るのか、どの好みを適用するのか、複数の妥当な選択肢からどれを選ぶのかが明示されない場合がある。

このときエージェントは、過去の利用履歴から補える情報と、本人に確認しなければならない情報を区別しなければならない。iPrefBenchは、まさにこの「推測するか、尋ねるか」という判断を測るためのベンチマークだ。実行可能なiOS環境と対話型のシミュレーションユーザーを用い、単なる操作手順の再現ではなく、個々のユーザーにとって正しい結果を導けるかを調べる。

主なポイント

• 一貫したユーザー履歴を用いる。 ベンチマークには一つの整合的なペルソナと3051件の過去の活動イベントが用意される。一般的な常識ではなく、ユーザー固有の証拠を使えているかを検証できる。
• 複数アプリの不完全な依頼を収録する。 26アプリにまたがる130件のタスクが含まれ、各タスクで省略されたユーザー依存の要件は、履歴から推測可能なもの、または質問するしかないものとして設計されている。
• 操作と対話を同時に評価する。 画面上のアクションを実行できたかだけでなく、ユーザーに適した最終結果になったか、必要なときに入力を求めたかも評価対象になる。
• 高い操作成功率は個人化を保証しない。 7つの先端エージェントでは、操作完了率の最高値が91.6%に達した。しかし、完全なタスク成功率の最高値は47.7%だった。手順を正しく進めても、ユーザーにとって正しい選択をしているとは限らない。
• 質問専用の情報に弱い。 エージェントは、ユーザーからしか得られない情報を十分に尋ねられない傾向を示した。これは、いつ自律的な処理を止めるべきかという判断の難しさを表している。

意義と影響

この研究は、モバイルエージェントの評価軸をGUI操作の器用さから、より広い意味での代理能力へと広げる。細部を毎回尋ねるアシスタントは使いにくく、逆に不明点を黙って補うアシスタントは、誤った結果や望まない結果を生む可能性がある。信頼できるシステムには、履歴に基づく推測と明示的な確認の境界を適切に設定する能力が必要だ。

iPrefBenchの価値は、単一の総合スコアだけでなく、失敗の要因を切り分けられる点にもある。関連する履歴を取り出せなかったのか、好みの解釈を誤ったのか、計画が不適切だったのか、それとも質問のタイミングを逃したのかを検討できる。

モバイルエージェントが自動化ツールから個人の代理人へ進むには、アプリ操作、ユーザー履歴の活用、簡潔な確認対話を同時に改善する必要がある。このベンチマークは、自律性とユーザーによる制御のバランスを研究するための具体的な評価環境を提供している。

出典：Hugging Face Daily Papers