CUA-Master：オープンワールドの再帰的改善でコンピュータ操作エージェントを拡張

導入

コンピュータ操作エージェント（CUA）に必要なのは、画面上のボタンを見つけてクリックする能力だけではない。長い作業手順、変化する画面状態、操作の失敗、途中からの復旧、最終結果の確認までを安定して処理する必要がある。CUA-Masterは、この課題をモデルの規模だけで解決するのではなく、データ収集と最適化を継続的に回す仕組みとして捉えている。

二重ループの構成

提案手法の中心は、入れ子になった二つの再帰ループである。システムレベルの外側ループは、「世界・データ・モデル」のフライホイールとして設計される。オープンワールドのタスクでモデルを動かすと、現在のモデルが苦手とする能力が明らかになる。その弱点を次のデータ作成と最適化の方向づけに利用することで、学習分布を固定せず、モデルの進化に合わせて更新する。

データレベルの内側ループは、二つの処理を組み合わせる。

• オープンワールド・シーディング：公開された instructional video から実際の作業フローを掘り出し、種タスクとして整理する。操作軌跡は視覚情報だけでなく意味情報も使う二経路で再構成される。
• 自触媒的な展開：種タスクを再利用可能な操作プリミティブへ変換し、それらを組み合わせたり変形したりして、より多様で複雑なタスクを合成する。結果を検証しやすい構造を持たせる点も特徴とされる。

実世界のデモンストレーションは高コストで、可能な作業の一部しかカバーしない。再利用可能なプリミティブを介することで、少数の実例からタスク空間を広げながら、生成内容や期待結果をある程度制御できる。単にモデル自身へ任意の経験を作らせるのではなく、公開データを起点に拡張する点が、この設計の重要な部分である。

失敗からの再試行

さらに、CUA-Masterは実環境での軌跡収集に、フィードバック誘導型のスナップショット・ロールバック機構を導入する。局所的な操作ミスが起きた場合、環境から得られるフィードバックを使って適切な状態へ戻り、再試行する。これにより、一つの失敗だけで軌跡全体を破棄する必要を減らすことを狙う。提示された素材では、実装の詳細までは説明されていない。

結果と意義

報告されたCUA-Master-27Bのスコアは、OSWorld Verifiedで80.2、OSWorld 2.0で36.9、WeaveBenchで43.9、Agents' Last Examで25.0だった。評価にはGUIのみの環境と、GUI・CLIを組み合わせた環境が含まれる。著者らは、再帰的な反復によってデータ合成の品質と効率が改善し、性能も継続的に向上すると述べている。

この研究が示す方向性は、CUAのスケーリングではモデルサイズだけでなく改善ループの設計も重要になるということだ。オープンワールドデータが新しい分布を与え、モデルの失敗が不足能力を示し、プリミティブ合成がカバレッジを広げ、ロールバックが軌跡収集のコストを下げる。一方、今回の素材は主に要旨と主要指標で構成されているため、詳細なアブレーション、データ量、一般化の限界については全文の確認が必要である。

出典：Hugging Face Daily Papers