Work2Skill：人間のGUI操作から再利用可能なエージェント技能を抽出

導入

コンピュータ利用エージェントは、GUI上で以前より複雑な作業を実行できるようになっています。しかし、未知のソフトウェアや、専門家の経験に依存する業務フローでは、単純なクリックや入力だけでは十分ではありません。人間は、どの手順が必須なのか、前の結果が次の操作にどう影響するのか、そして作業が本当に完了したかを判断しながら操作しています。通常の操作ログだけでは、こうした知識を再利用しにくいという問題があります。

Work2Skillは、人間のGUI操作を再利用可能な技能へ変換することを目指します。目標は、マウス移動やキー入力をそのまま再生することではありません。デモンストレーションの文脈を調べ、別のタスク事例にも適用できるワークフローの規則や確認方法を抽出します。

主なポイント

• 複数の情報を同期して記録。 WorkRecorderは画面録画、マウスとキーボードのイベント、利用可能なアクセシビリティツリー情報を対応付けます。これにより、ある操作が行われた際に何が表示され、どの入力が発生したかを同時に扱えます。
• 検証済みのデモデータ。 WorkRecorderを用いて、研究チームはWorkDemo-350を作成しました。350件のデスクトップGUIデモを収録し、内容の完全性とタスク成功を確認しています。
• 行動列をワークフローへ抽象化。 提案手法は必要に応じてデモの証拠を調べ、ワークフローの規則、手順間の依存関係、完了を確認する条件を取り出します。
• 複数のモデルで評価。 共通の実行条件では、Work2Skillは比較された技能誘導手法の中で最高のスコアと成功率を示しました。No Skill基準と比べた平均スコアの改善幅は、MyPCBench Bounded Actionで4.67～10.54ポイント、OSWorld-Verifiedの286タスク部分集合で3.11～7.50ポイントでした。

意義と課題

この研究の重要な点は、GUIエージェントの学習対象を固定的なスクリプトから、手続き的な知識へ広げたことです。画面の配置や入力値が変われば、同じ作業でも具体的なクリック列は変わります。一方、手順の順序、前提条件、完了確認といった構造は、別の状況でも役立つ可能性があります。これらを技能として表現すれば、エージェントは人間の作業ロジックを保ちながら、現在の画面に合わせて操作を調整できます。

同時に、データ収集の設計も重要になります。操作軌跡の数を増やすだけでなく、操作中の画面や入力、構造情報を同期し、実際にタスクが成功したかを確認する必要があります。WorkRecorderとWorkDemo-350は、そのための基盤を示しています。

ただし、今回の結果だけで、異なるソフトウェア版や動的なレイアウトでも技能が長期的に安定するとまでは言えません。より多様な環境での頑健性は今後の検証課題です。それでもWork2Skillは、人間の経験をGUIエージェントの持続的な能力へ変換する道筋を具体化した研究だと言えます。

出典：Hugging Face Daily Papers