MAI-Gym、GUIエージェントの評価・データ生成・強化学習を統合

導入

GUIエージェントには、自然言語を生成する能力だけでは不十分です。画面を観察し、適切な操作を選び、状態の変化に対応し、最終的にタスクが完了したかを判断しなければなりません。そのためGUI向けのオンライン強化学習では、環境の起動、状態の維持、操作結果の検証に大きなコストがかかります。Tongyi-MAIチームが発表したMAI-Gymは、こうした課題に対し、環境、タスク生成、評価、学習を一つの基盤にまとめます。

共通パイプラインによる統合

MAI-Gymでは、評価、データ収集、オンライン強化学習が同じロールアウトパイプラインを利用します。学習時とベンチマーク時で実行方法を揃えられるため、訓練環境と評価環境の違いによる不整合を抑えやすくなります。対象はモバイル、コンピューター、Web環境にまたがり、既存の10種類のベンチマークをサポートします。また、最大20,000個の環境を並列に動かせる設計です。

重要なのは、実行基盤だけでなくタスクとアプリの生成も扱う点です。プラットフォームは、初期状態に戻せる模擬アプリ、複数アプリを横断するタスク、実行結果をコードで判定する検証器を合成できます。公開物には49個のシミュレーションアプリ、実行検証済みの2,000タスク、再利用可能な合成スキルが含まれます。検証器によって、タスク達成の有無を比較的明確な報酬として学習に利用できます。

MAI-Gym-9Bの結果

この基盤を使って訓練されたMAI-Gym-9Bは、モバイルとコンピューター操作を一つのモデルで扱う90億パラメータのエージェントです。公開されている10B未満のGUIエージェントの中で、MobileWorldでは78.4%、OSWorld-Verifiedでは76.2%を報告しています。複数のデバイス領域を共通の設定で学習することが、幅広い操作能力につながる可能性を示す結果です。

さらに、模擬環境から実環境への移転も検証されています。模擬の鉄道チケット予約アプリで強化学習を行った後、対応する実アプリを物理スマートフォン上で操作したところ、タスク成功率は28.8%から48.1%に上昇しました。これはシミュレーションが実機を完全に置き換えられることを示すものではありませんが、設計の良い模擬環境が実GUI操作に有用な学習信号を提供できることを示しています。

意義と今後の課題

MAI-Gymは、環境実行、タスク合成、報酬検証、ベンチマーク評価、オンライン学習という、従来分かれていた要素を接続します。フレームワーク、アプリ、タスク、合成スキル、モデル重みを公開することで、再現実験や手法間の比較も進めやすくなります。

一方、結果は報告されたベンチマークと環境の範囲で解釈する必要があります。模擬アプリと実ソフトウェアでは、状態空間、画面変化、失敗要因が異なる可能性があります。未知のタスク、動的なUI、より多様な実機での安定性は今後の検証課題です。それでも、リセット可能な環境でコストを下げ、実行検証器で報酬を明確にし、共通パイプラインで学習と評価を揃えるという設計は、GUIエージェントを大規模化する現実的な方向性を示しています。

出典：Hugging Face Daily Papers