WorkFactory、職業上の意図を実行可能なエージェント訓練タスクへ変換

導入

専門的な仕事をこなすAIエージェントを訓練するには、推論能力やツール操作能力だけでは不十分です。作業に必要な資料がそろい、情報の依存関係が整い、利用する環境やツールも機能しなければなりません。入力ファイルの欠落やウェブサイトへのアクセス失敗があると、能力のあるモデルでも作業を完了できません。そのような失敗を含んだまま教師軌跡を集めると、学習信号は仕事の技能ではなく、壊れた環境を反映する可能性があります。

Hugging Face Daily Papersで紹介されたWorkFactoryは、タスク生成そのものをエージェント訓練の重要な工程として扱います。職業上の意図を出発点に、実行可能なタスクを大規模に構築する方法です。

情報支援グラフでタスクを設計

WorkFactoryは、最初から文章形式の課題を生成するのではなく、情報レベルの計画を行います。想定する成果物を完成させるために必要な情報、その依存関係、情報が存在すべき場所を情報支援グラフとして表現します。これにより、タスクの目的、根拠となる資料、実行環境の関係を明示できます。

次に、プローブ実行を行います。ソルバーから見える入力だけを使ってタスクを試行し、情報不足や実行を妨げる問題を探します。問題が見つかった場合は、元の職業上の意図をできるだけ維持しながら、完了を阻む部分だけを修復します。その後、教師モデルが修復済みタスクを実行し、訓練用の軌跡を生成します。

この「プローブしてから修復する」手順は、コストの高い教師実演の前に環境を検査できる点に意味があります。分析結果では、計画と修復の両方がプローブで検出される環境欠陥を減らし、下流の性能を改善しました。

規模と性能

WorkFactoryは612職種を対象に112,686件のタスクを構築しました。得られた教師軌跡を用いて、4B、27B、35B-A3BのWorkPilotモデルを微調整しています。3つのモデルはいずれも、4つの専門業務ベンチマークで対応する基盤モデルを上回りました。WorkPilot-35B-A3BはGDPval-AA v2.1で、Eloが879から1565へ上昇しています。

この結果は、業種の多様性やタスク数だけでなく、タスクが実際に実行できるかどうかも訓練データの品質を左右することを示します。

データ拡大の効果は一定ではない

スケーリング分析では、データを増やすほど性能が直線的に伸びるわけではありません。初期の追加データによる改善は大きい一方、学生モデルが教師モデルの能力上限に近づくにつれて伸びは小さくなります。また、実行長は最初に増え、その後に減少する傾向が報告されています。

これは、追加データが「何をするか」だけでなく、不要な手順やツール呼び出しを減らす計画・実行戦略も学習させる可能性を示します。ただし、短い軌跡が常に高品質な成果物を意味するとは、提示された情報だけでは判断できません。

意義と課題

WorkFactoryは、合成データ作成を単なる文章生成ではなく、環境設計の問題として捉え直します。専門的に見える課題を作るだけでなく、必要な情報とツールが成功を支えられるかを検証する点が特徴です。

一方、外部ツールの制約は残ります。著者の説明によれば、ウェブ取得の失敗はアクセスできないサイトが主な原因で、ウェブ検索の失敗率は比較的低いとされます。今後は、リジェクションサンプリング、より難しいタスク、強化学習によるスケーリングが検討されています。

出典：Hugging Face Daily Papers