Agent-R²、実ファイルで生産性エージェントを訓練

背景

生産性業務を担うエージェントに必要なのは、流暢な文章生成や単純なツール操作だけではありません。年次報告書、表計算ファイル、PDFなどを読み分け、依頼の意図を理解し、複数段階の専門的な手順を進め、証拠と形式の要件を満たす成果物を提出する必要があります。Agent-R²は、このような現実的な仕事を学習させるためのデータ不足に取り組みます。

データ合成の仕組み

Agent-R²は、言語モデルにファイルや業務環境をすべて作らせるのではなく、実在する情報をパイプライン全体の基盤にします。

• 職業活動の種から、現実的な作業意図を定める
• ウェブコーパスからファイルを扱うワークフローの証拠を抽出する
• 公開されている実ファイルを検索し、内容を検証する
• 指示、成果物、細粒度の評価ルーブリックを作成する
• サンドボックスで専門家の軌跡を実行し、問題のある評価基準や未達要件を修正する

約1万件の候補から約4000件のタスクを抽出しました。1タスクあたり平均2.51個の実際の複数形式ファイルと、15.3個の成果物レベルの評価項目が含まれます。専門家の軌跡は平均18ステップ、4.18万トークンです。これにより、何をするか、どのファイルを使うか、何をもって完了とするかを一体化しています。

評価結果

Qwen3-4B-Thinking-2507に教師あり微調整を行い、さらにルーブリックベースの強化学習を適用してAgent-R²-4Bを作成しました。GDPvalのPass@1は51.0%で、Qwen3-235B-A22B-Thinking-2507の48.0%を上回りました。OfficeQAではベースモデルの2.2%から14.8%へ向上し、235Bモデルの13.8%も超えています。

分析では、タスク完了率が90.9%に達し、より有効なツール操作が増えました。実ファイルを使う設定のスコアは43.3で、合成ファイルの41.4を上回り、専門家によるツール呼び出しも2.54倍になりました。ルーブリック報酬を除くと、強化学習後の結果は51.0%から49.5%に低下しました。

意義と課題

この研究は、エージェント訓練ではモデル規模だけでなく、訓練環境が実務にどれだけ近いかが重要だと示します。実ファイルには、形式の揺れ、情報不足、文書間の照合が含まれます。こうした摩擦が、表面的なパターンではなく、検索、操作、検証の学習を促します。成果物レベルのルーブリックも、曖昧な品質を検査可能な目標に変えます。

一方、データは公開ウェブ情報をもとにしており、企業内の全業務を代表するとは限りません。対象職種の広がり、著作権とプライバシー、GDPvalやOfficeQAの実務代表性については、今後の検証が必要です。

出典：Hugging Face Daily Papers