UI-Mate、デモを参照して再計画するオープンウェイトGUIエージェント

導入

GUIを認識できることは、コンピューター操作エージェントの出発点にすぎません。実際の業務では、ユーザーが暗黙の慣習や細かなクリック手順を説明しないことが多く、ウィンドウの状態やアプリケーションの構成も毎回同じとは限りません。UI-Mateは、この問題を環境に根差した学習基盤と、操作デモを利用するインコンテキスト学習の組み合わせで扱います。

主なポイント

• 環境を中心にした閉ループ学習：UI-Mateはタスクと検証器を一体化したバンドルを使い、タスク生成、環境構築、ロールアウト、結果のフィルタリング、能力のバランス調整、教師ありファインチューニング、オンライン強化学習を自動化します。大量の並列環境で動作させる設計により、単なる指示文だけのデータよりも結果を確認しやすい経験を作ります。
• デモを固定手順にしない：マルチモーダルなデモをサブタスク単位のワークフローへ変換し、現在の要求に関係する手順を取り入れながら、実際に表示されている画面から再計画します。したがって、デモと実行時でレイアウトやウィンドウ状態が異なっても、手順をそのまま再生するより柔軟に対応できます。
• 長期的なオフィス作業を評価：OSWorkerBenchは41のアプリケーションにまたがる100件のオフィスタスクで構成され、指示だけの評価とデモ付き評価をサポートします。概要では、同じ目標を強力なエージェントが成功させた軌跡を使う33タスクのself-demo設定と、関連するが同一ではない作業を人間が記録した45タスクのvariant-demo設定を分けています。
• オープンウェイトモデルの結果：UI-Mate-27Bは一般的なコンピューター利用ベンチマークで新たなオープンウェイト記録を達成し、OSWorld-Verifiedで77.0%を得たとされています。

意義と留意点

この研究の重要な点は、新しいモデル名だけでなく、GUIエージェントの経験をどう作り、どう検証するかを設計の中心に置いたことです。現実の利用では、ユーザーは録画や見本、完成後の状態だけを示すことがあります。デモの意図を抽出しつつ、現在の画面に応じて操作を修正できれば、固定されたクリック列の記憶より実務に近い動作になります。

一方、提供資料だけでは、すべてのアプリケーションでの安定性、予期しない画面変化からの復旧、実ユーザー環境での性能までは判断できません。デモの品質、検証器の範囲、各評価設定の比較可能性も結果の解釈に影響します。UI-Mateは、環境で経験を生成し、結果を検証し、閉ループで学習し、デモを指針として利用するという、オープンウェイトGUI研究の一つの方向性を示しています。

出典：Hugging Face Daily Papers