NexForge：要件駆動のタスク合成で LLM Agent を拡張

導入

LLM Agent の性能向上では、実行可能で多様、かつ現実に近い訓練データをどれだけ用意できるかが重要になっています。NexForge が扱うのは、まさにこのデータ拡張の問題です。従来のタスク合成手法の多くは、あらかじめ決められたツール、コードリポジトリ、スキルグラフなどに依存していました。これは生成や検証をしやすくする一方で、新しい領域に広げるたびに専用の基盤作りが必要になり、タスク分布も現実の需要より基盤側の偏りを反映しやすくなります。

NexForge は発想を変えます。出発点を「既存の環境から何を作れるか」ではなく、「Agent にどの能力を身につけさせたいか」に置きます。高レベルな能力要件を入力として、多様で実行可能なタスクと、教師あり微調整に使える専門家の実行軌跡を生成します。

主要ポイント

• 要件駆動の生成：固定されたツールやリポジトリ、手作業で作ったスキルグラフに縛られず、能力要件からタスクを設計します。
• 現実需要の反映：まず現実世界の需要を調査し、代表的なシナリオとタスクプロファイルを構築します。
• 分布を意識したコンパイル：能力カバレッジやタスク分布を考慮しながら、具体的なタスク指示へ変換します。
• 実行環境の自動構築：各指示に対して、必要なファイル、依存関係、ランタイム設定を自動で取得または作成し、単なる文章ではなく実行できる課題にします。
• 専門家軌跡の合成：タスクごとに専門家 rollout を合成し、SFT 用の訓練軌跡を生成します。
• 報告された効果：ドメイン専用インフラなしで 3.6K のターミナルタスクと 2K のオフィスタスクを生成し、Qwen3.5-35B-A3B Base を Terminal-Bench 2.0 で 22.5% から 52.0%へ、GDPval で 813 Elo から 1338 Elo へ改善したとされています。さらに 43.2K のターミナルタスクへ拡張すると、Terminal-Bench 2.0 は 58.4% に到達します。

意義と影響

この研究の意義は、単に合成データを増やしたことではありません。Agent の訓練環境を、能力要件からより汎用的に作る手順を示した点にあります。ターミナル Agent、オフィス自動化 Agent、その他のツール利用型システムにとって、課題は個別タスクを解くことだけではありません。長い尾を持つ実務ワークフローを、実行可能かつ検証可能な形で大量にカバーすることが難しいのです。

論文では、NexForge が Nex-N2-Pro と Nex-N2-Mini を含む Nex-N2 モデル群の中核データエンジンであるとも説明されています。さらに拡張された NexForge 合成データは、Qwen3.5-35B-A3B を Terminal-Bench 2.1 で 75.3%、GDPval で 1585 Elo まで押し上げる訓練に貢献したと報告されています。これは、オープンな Agent モデルにとって、データ生成パイプライン自体が重要な競争力になり得ることを示しています。

一方で、タスク品質の選別、専門家軌跡の信頼性、現実需要のモデル化方法、評価ベンチマークへの適合度などは、論文本文で確認すべき論点です。それでも NexForge は、手作業で環境を作る方式から、能力要件に基づき環境を自動合成する方向への重要な一歩といえます。

Source: Hugging Face Daily Papers