SoftwareGym、合成ソフトウェア環境でコンピュータ操作エージェントを訓練

背景

コンピュータ操作エージェント（CUA）が実用的な仕事を完了するには、画面上のボタンを見つけるだけでは不十分です。未知のレイアウトを理解し、複数の操作を計画し、途中の失敗から復帰し、最終結果まで確認する必要があります。そのためには、多様で実際に操作でき、しかも動作の正しさを検証できるソフトウェア環境が大量に必要になります。

しかし、ネイティブアプリケーションを人手で構築・統合するには大きなコストがかかります。一方、ブラウザ上の簡易環境は導入しやすいものの、複雑なワークフローや深いGUI操作を十分に再現できない場合があります。SoftwareGymは、この環境構築のボトルネックを自動化で解決しようとする研究です。

SoftwareGymの仕組み

パイプラインは大きく三つの段階で構成されます。

• 多様な設計の生成：異なる画面構成や操作パターンを持つアプリケーションを作り、特定のUI形式への過適応を抑えます。
• 実行可能なアプリへの変換：設計を静的なモックではなく、機能を備えたGUIソフトウェアとして実装します。
• 実操作による検証と修正：エージェントにタスクを実行させ、GUI上の結果を確認します。問題が見つかった場合は、反復的にアプリケーションを修正します。

研究チームはこの方法で、12カテゴリにまたがる182個のアプリケーションを合成しました。平均GUIタスク合格率は91.5%でした。また、同じ12カテゴリから120タスクを集めたSoftwareGym-Benchも構築しています。

結果と意味

合成環境で収集した操作軌跡をCUAの訓練に利用したところ、厳密なドメイン外評価であるOSWorldのPass@3は41.39%から56.97%へ向上しました。SoftwareGym-Benchでは40.0%を達成しています。OSWorldが訓練環境とは異なることを考えると、学習されたのは特定アプリの画面配置だけでなく、画面理解や操作計画に関わる、より一般的なパターンである可能性があります。

この研究の重要性は、エージェント訓練用の環境を作るコスト構造を変えようとしている点にあります。手作業による環境整備ではアプリの種類を増やしにくく、少数のアプリへの過学習も起こり得ます。SoftwareGymは、ソフトウェアの生成、実行、評価、修正を一つの流れにまとめ、規模と信頼性を両立しようとしています。

ただし、検証時の合格率が高いからといって、合成アプリが現実の業務ソフトウェアと同じ複雑さを持つとは限りません。SoftwareGym-Benchで40.0%にとどまったことも、エージェントにはまだ大きな課題があることを示します。今後は、OSやアプリの種類をまたぐ評価、より長いワークフロー、実運用に近い条件での検証が必要です。

それでもSoftwareGymは、コンピュータを実際に操作するエージェント向けに、合成ソフトウェアを継続的な教師データ源として利用する道筋を示しています。

出典：Hugging Face Daily Papers