Cowork-Gym、変化に対応する業務エージェントの訓練を拡張

背景

実際の業務でエージェントが役立つには、単にツールを呼び出せるだけでは不十分だ。複数のファイルやアプリケーション間の依存関係を把握し、途中で変わる要求を理解し、必要ならユーザーに確認し、共有ワークスペースが編集された後に計画を修正しなければならない。しかし従来の訓練タスクは、指示やリソース、成功条件が固定された静的なものになりやすい。

Cowork-Gymは、この問題に対して、人間とエージェントが協働する作業環境を大規模に合成する枠組みを提案する。

構築・実行・修正のループ

中核となるのは build–execute–revise、つまり「構築・実行・修正」の循環だ。まずタスクの目的と利用可能なリソースから環境を生成する。次にタスクを実際に実行し、ツール、ファイル、依存関係、成功基準が整合しているかを実行証拠で確認する。問題が見つかれば、レビューのフィードバックを利用して環境を修復する。

この設計では、環境が本当に動くかどうかが生成過程に組み込まれる。文章だけの検査では見つけにくい、利用できないリソース、欠落した依存関係、目標と受け入れ条件の不一致などを、実行によって発見できる。提供された素材には、エラーの内訳や修復成功率は示されていないため、現時点では特定タスクの解法というより、環境を作り検証するための方法として評価するのが適切だ。

さらに、状態を持つユーザーシミュレーターが導入される。ユーザーは最初に指示するだけではなく、エージェントの行動に応じて対話でフィードバックを返し、共有ワークスペースを直接変更することもある。これにより、要求の明確化、計画変更、成果物の修正といった協働行動を訓練できる。

規模と結果

研究チームは 6万4888個の環境を、14のアプリケーションシナリオと17の能力ラベルにわたって合成した。これらを用いて、9B、27B、35B-A3B規模のQwenモデルに対し、教師あり微調整、強化学習、オンポリシー蒸留を実施した。

6つのエージェント評価の平均スコアは、対応する基盤チェックポイントからそれぞれ 8.7、6.4、4.1ポイント向上した。27Bモデルは研究内で評価されたモデルの総合順位で2位となり、PawBenchとClawEvalでは最高の平均スコアを記録した。両評価では、総パラメータ数が100Bを超える評価対象モデルも上回ったという。

ただし、これは論文が報告した評価設定での結果であり、あらゆる業務で普遍的な優位性を示すものではない。素材には、各ベンチマークの個別スコア、環境難度の分布、詳細なアブレーションも含まれていない。汎化性能の判断には、今後の技術報告や追加実験が必要になる。

意義と課題

Cowork-Gymの意義は、エージェント訓練を固定指示の完了から、変化する作業空間での継続的な協働へ広げた点にある。環境生成、実行検証、ユーザーフィードバックを安定して組み合わせられれば、すべてのシナリオを人手で作成せずに、長期タスクの多様な状況を扱える可能性がある。

一方、シミュレーターが実ユーザーの好みや表現、編集習慣をどこまで再現できるかは未解決だ。生成環境のパターンが偏る可能性もあり、ベンチマークの向上が現場の生産性に直結するとは限らない。それでも本研究は、訓練環境自体も実行可能で、検査でき、継続的に修正されるべきだという方向性を示している。

出典：Hugging Face Daily Papers