OpenGCUA、汎用コンピュータ利用エージェントの技術スタックを公開

概要

コンピュータ利用エージェントは、スクリーンショットを見てボタンをクリックする仕組みから、複数のインターフェースを使い分けて作業を完了するシステムへ移りつつある。AlibabaのMAI-UIチームが公開したOpenGCUA（Open Generalist Computer Use）は、そのための技術スタック全体をオープンにすることを目指すプロジェクトだ。初版では、エージェントのハーネス、プロンプト、評価軌跡、実デバイス向けツール、クロスデバイスSDKが提供されている。

GUIだけに依存しない設計

OpenGCUAが想定する汎用コンピュータ利用エージェントは、何を観察するか、どの手段で操作するか、作業をどう組み立てるかをモデル自身が決める。スクリーンショットだけでなく、アクセシビリティツリー、アプリケーションやシステムのAPI、シェルコマンドも利用できる。構造化された情報で判断できない場合だけ、視覚的な操作に戻ることも可能だ。

この設計では、すべての作業を「スクリーンショット、クリック、再確認」という固定ループに押し込めない。タスクに応じて、構造化情報、プログラムインターフェース、視覚フィードバックを組み合わせることが重要になる。

コード実行と判断の移管

GUI操作、アクセシビリティ情報の取得、API呼び出し、シェル実行は、同じ実行可能なプログラム内で扱われる。ループ、条件分岐、中間結果によって次の行動を決められるため、モデルは得られたファイルやテキスト、システム状態をもとに計画を変えられる。

さらにOpenGCUAは、固定ハーネスからモデルへの判断移管を提案する。いつ観察するか、タスク状態をどう扱うかといった一部の判断を、あらかじめ決めたルールではなくモデルに任せる。ハーネスは利用可能な仕組みを提供し、モデルが使うタイミングを選ぶ方式だ。手順の冗長さを減らせる一方、計画、ツール選択、失敗からの回復に対するモデルの要求は高くなる。

評価結果と公開物

OSWorld-v2では、GPT-6 AstraやClaude Opus 5を含む評価対象8モデルすべてで改善が報告された。完全構成では、平均部分スコアが19.6ポイント向上し、タスクあたりの報告ステップ数は平均53.0%減少したという。モデルそのものだけでなく、実行フレームワークの設計も性能に大きく影響し得ることを示す結果だ。ただし、数値は指定されたプロンプト、ハーネス、評価環境に基づくため、今後の再現検証が必要になる。

公開物には実装、プロンプト、8モデル分の評価軌跡が含まれる。macOS向けの実デバイスハーネスと、コンピュータ、ブラウザ、スマートフォンを一つのプログラミングインターフェースで連携するクロスデバイスSDKも用意された。

意義と課題

OpenGCUAは、競争の焦点をモデル単体から、モデル、ツール、実行環境、ベンチマークの協調設計へ広げる。実デバイスでは権限、状態変化、機種差など、シミュレーションでは見えにくい問題も現れる。

今後は、コード実行の効率化、安全な権限管理、実デバイス向け評価基盤、ブラウザ利用との統合が課題になる。OpenGCUAは研究と再現の出発点を提供するが、長期的な価値はコミュニティによる検証と安全機構の成熟に左右される。

出典：Hugging Face Daily Papers