WildAWM、実行可能な合成世界で汎用コンピューター操作エージェントを訓練

導入

コンピューター操作エージェントを汎用化するには、ボタンを押したり API を呼び出したりする能力だけでは不十分です。エージェントは状態を保持し、複数のインターフェースから適切な手段を選び、途中の失敗から回復しながら長い手順を完了しなければなりません。実際のコンピューターでこの経験を大量に集めると、コストだけでなく、プライバシーや安全性の問題も生じます。WildAWM は、実行可能な合成世界との相互作用でこの課題に取り組みます。

主なポイント

• 複数の操作経路を同じ世界に統合。 生成されるのは、人物設定に基づき、数日単位で状態が変化する個人用コンピューター環境です。Webサイト、MCPサービス、ローカルファイルが共通の状態を持つため、エージェントは GUI 操作、ツール呼び出し、コマンドライン実行を一つのタスク内で組み合わせられます。
• オープンソースモデルで環境を生成。 パイプライン全体がオープンソースモデルで構成されている点も特徴です。 proprietary な最先端モデルに依存せず、再現可能なインタラクティブ訓練環境を大規模に作る可能性を示しています。
• 実行結果に基づく品質管理。 合成タスクには、そもそも解けない、簡単すぎる、失敗を成功と判定する、といった問題があります。WildAWM は、異なるエージェントによるロールアウト、複数の判定器の整合性確認、条件を変えた反実仮想テストを組み合わせ、解決可能性、難易度、検証の信頼性を調べます。
• 長期計画を要求。 公開された環境・タスクの組は 341 件です。一部のタスクは 100 ステップを超え、報告上 GPT-6-Astra の成功率も約 60％にとどまります。単純な画面操作ではなく、計画や状態管理を測る設計だといえます。
• 未知の課題への転移。 異なる規模の Qwen モデルを WildAWM の合成環境だけで訓練したところ、Web、claw、コンピューター操作エージェントを含む 8 つの分布外ベンチマークで改善が報告されました。平均向上幅は Qwen3.6-35B-A3B が 10.58、Qwen3.5-4B が 8.21 ポイントです。

意義と課題

WildAWM の重要性は、環境生成、タスク作成、実行、検証を一つのループにまとめた点にあります。現実のアプリケーションを直接操作する代わりに、制御可能な世界なら安全に失敗し、軌跡を再生し、難易度を調整できます。ファイル、Web、ツール、コマンドが互いに影響する状況を作れることも、孤立した Web タスクより実運用に近い訓練につながります。

一方で、合成世界が現実のソフトウェア環境の予測不能さをすべて再現できるとは限りません。今回の結果は、学習データの量だけでなく、状態共有と長期的な相互作用の質が重要であることを示しますが、独立評価で効果がどこまで維持されるかは今後の検証が必要です。WildAWM は汎用エージェント問題の最終解ではなく、より安全で拡張可能な訓練基盤として位置づけるのが適切でしょう。

出典：Hugging Face Daily Papers