OpenMobile-2、オープン環境とネイティブツールでモバイルエージェントを強化

概要

モバイルエージェントが複数のアプリをまたぐ作業や、長い手順を含むタスクを安定して実行するには、モデルの性能だけでは不十分です。多様なアプリ、再現可能な初期状態、タスク結果の自動検証、そして大規模な訓練データが必要になります。OpenMobile-2 は、こうした研究基盤をオープンに整備することを主眼とした取り組みです。

主なポイント

• 拡張可能なモバイル環境。 MobileGym++ は、機能が豊富な商用アプリ風アプリ35個で構成されています。アプリ間ワークフローに対応しながら、環境のリセットと結果の検証を制御できるため、データ合成や強化学習に利用しやすい設計です。設定済みのAndroidエミュレーターアプリと合わせると、対象は110以上のアプリに広がります。
• 大規模な訓練データ。 監督付き微調整向けに、約1万2000件のモバイル操作軌跡を収録しています。さらに、2000件を超える実行可能タスクによる検証可能な強化学習データも提供し、自動報酬で達成状況を確認できます。
• GUIとアプリ固有ツールの併用。 タップ、スワイプ、入力といったGUI操作だけでなく、アプリの一部機能を限定的なネイティブツールとして公開します。エージェントは一つのタスクの途中でGUI操作とツール呼び出しを切り替えられます。MobileGym++ には50以上のアプリにまたがる300以上のツールが実装されています。
• 長期タスク向け評価。 MobileGym++ Bench は、複雑な商用アプリ風シナリオを対象とし、同じタスク群でGUIのみとGUI・ツール併用の両方を評価できます。

結果と意義

OpenMobile-2 は AndroidWorld で79.9、MobileWorldで50.4を報告しています。実機モバイルタスクを扱う SPA-Bench では、31.9から59.6へ向上し、ほぼ2倍となりました。環境の多様性、結果を検証できるデータ、行動インターフェースの柔軟性が、モバイルエージェントのタスク達成率を押し上げる重要な要素であることを示唆しています。

この研究の価値は、モデルだけでなく、訓練環境、データ、レシピ、ベンチマークを一体的に公開している点にあります。研究者は既存結果を再現しやすくなり、独自の長期ワークフローも構築しやすくなります。GUIとネイティブツールの併用は、視覚的な汎用性とAPIに近い効率性を両立する方向としても注目されます。

一方、シミュレーション環境が実際のアプリの変動を完全に再現するわけではありません。ツールの権限設計、アプリ間の状態変化、長いタスクでの誤りの累積も残る課題です。実機への転移結果は有望ですが、制御された環境の外での頑健性を確認するには、さらなる評価が必要です。

出典：Hugging Face Daily Papers