OS-Helix、GUI操作とコード実行を統合するコンピューターエージェント

導入

実際のデスクトップ作業は、マウス操作だけ、あるいはスクリプトだけで完結するとは限らない。ユーザーはまず文書や表計算ソフトで状態を確認し、その後にコードで多数のファイルを処理し、最後にアプリケーションへ戻って結果を確認することがある。コンピューター操作エージェントに必要なのは、GUIを見て操作する能力とコードを書く能力を個別に持つことだけではない。状況に応じて両者を切り替え、ひとつの作業フローとして連携させる能力が重要になる。

中国科学技術大学の研究チームが発表したOS-Helixは、この問題を正面から扱うマルチモーダルエージェントである。GUI操作とコード実行を、プロンプトでつないだ別々のツールではなく、単一の方策の中で学習する。研究チームの予備実験では、GUIエージェントにコードツールを単純に追加すると、性能が低下する場合があった。ツールを使えるようにするだけでは、どの場面で何を使うべきかというルーティング方策は身につかないためだ。

主な仕組み

• 統合されたアクション空間。 クリックやキーボード入力とコード実行を同じ方策で扱い、モデル自身にモダリティの選択を学習させる。
• 実行可能なデスクトップ環境。 デスクトップアプリケーションと実在性のあるファイルなどのアーティファクトを組み合わせ、実際に動作するUbuntuの状態を構築する。これにより、抽象的な指示ではなく、ファイルとアプリの状態に根ざしたタスクを生成できる。
• 指示生成と評価の分離。 タスクの指示と評価器を分けて設計し、最終状態を基準に結果を判定する。GUIだけで解いても、コードだけで解いても、両者を組み合わせても同じ基準で評価できる。
• 教師あり学習とオンラインRL。 まず、品質を選別したGUI・コード混合軌跡でSFTを行い、その後、実際に動作するデスクトップ環境でオンライン強化学習を実施する。
• Step-balanced GSPO。 GUIのアクションは短い一方、コードアクションは多数のトークンを含むことがある。トークン数で重要度を集約するとコードが学習を支配しやすいため、アクションステップ単位で重みを集約してバランスを取る。

結果と意味

OSWorld-Verifiedでは、OS-Helix-27BとOS-Helix-35B-A3Bが、対応するQwen3.5のハイブリッドベースラインに対して、それぞれ35.0%、33.7%の相対改善を報告している。強化学習後のOS-Helix-27B-RLは成功率66.44%に達し、ベースラインからの相対改善は42.9%となった。また、Windows向けの専用学習データを使わずにWindowsAgentArenaで63.87%を報告しており、異なるプラットフォームへの転移を示す結果になっている。

この研究の意義は、単に利用できるツールを増やしたことではない。デスクトップエージェントの課題を、ツール呼び出しの可否から、異なる操作手段をいつ、どのように組み合わせるかという方策学習の問題へと整理している点にある。実ファイルを含む環境は訓練状態を現実に近づけ、最終状態による評価は、解決経路が異なる有効な方法を同じ基準で扱えるようにする。

一方、報告された性能は特定のベンチマークと研究環境に基づく。未知のOS、長時間のワークフロー、予期しない失敗からの復旧、権限を伴う操作で同じ安定性が得られるかは今後の検証が必要だ。訓練コードと評価コードが公開されれば、GUIとコードを協調させるコンピューターエージェント研究の再現性にも貢献するだろう。

出典：Hugging Face Daily Papers