HCU、コード・意味情報・GUIを統合するコンピューター操作基盤

導入

現在のコンピューター操作エージェントの多くは、スクリーンショットを読み、マウスやキーボードを動かす方法を中心に設計されています。人間の操作に近い一方で、画面を何度も解釈する必要があり、コンピューターが持つ構造化された情報やプログラム実行能力を十分に使えない場合があります。論文「Hybrid Computer Use」は、これらを一つのインターフェースにまとめるHCUを提案しました。

HCUの要点

• 3つの操作経路：プログラム経路ではコードやコマンドラインツールを利用できます。意味経路ではアクセシビリティ（AX）ツリーから画面構造や操作対象を取得します。視覚経路ではスクリーンショットとGUI操作を使います。
• モデルが経路を選択：上位に専用のプランナーやルーターを置くのではなく、モデル自身が各ステップでコード、AX、GUIのいずれかを選びます。タスクの途中で切り替えることも可能です。
• AX操作の効率化：コントロールを短い参照で指定し、1回の呼び出しで最大64件の操作を実行できます。完全な状態を毎回返す代わりにAX差分を返し、入力前には対象が最新状態で有効かを確認します。
• 導入しやすい構成：MCPサーバー、SDK、CLIとして提供され、素材によればLinux、macOS、Windowsに対応します。

評価結果

OSWorld 2.0では、比較されたシステムの中でHCUがPartialとBinaryの両方で最高値を記録しました。GPT-6 Astraを使ったPartialは72.37%、Claude Opus 5を使ったBinaryは35.19%です。OSWorld 1.0では、CUA DriverをHCUに置き換えることで、評価対象となった4モデルのスコアが平均6.48ポイント向上し、ステップ数は17%、コストは30%減少したと報告されています。また、Windows、macOS、Linuxの各環境で、CUA Driverのおよそ半分のコストで高いスコアを得たとされています。

意義と今後

HCUの重要性は、単に利用できるツールを増やした点だけにありません。コンピューター操作の入口を視覚情報だけに限定せず、アプリケーションの意味構造とプログラム機能もモデルが直接利用できる環境として扱う点にあります。定型的なファイル操作やシステム処理にはコード、UI要素の特定にはAX、見た目や配置の判断にはGUIというように、タスクの性質に応じて経路を使い分けられます。

軌跡の分析では、モデルごとに3経路への作業配分が異なる一方、評価されたすべてのモデルでHCU利用時の改善が報告されています。これは、単一の操作パターンを強制するよりも、共通の選択肢を与える設計が多様なモデルに適応しやすい可能性を示します。

ただし、実際の効果はモデルが適切な経路を選べるかに左右されます。今回の数値は提示されたベンチマークと比較条件に基づくもので、あらゆる業務フローにそのまま当てはまるとは限りません。それでもHCUは、コンピューターを「画面」と「構造化されたプログラム環境」の両方として扱うエージェント設計の具体例となっています。

出典：Hugging Face Daily Papers