AutoSFT：SFTデータ設計を自動化するマルチエージェント研究システム

導入

ポストトレーニングでは、モデルや学習器だけでなく、どのようなデータをどの比率で使うかが性能を左右します。しかし既存の自動化システムは、固定されたデータプールから行を選ぶか、生成器を呼び出すだけにとどまることが多くあります。実際のデータエンジニアは、カテゴリ比率の調整、低品質データの削除、誤りの修復、不適切なデータの置換、能力不足を補う新規データの合成を同時に行います。

AutoSFTは、このような幅広いデータ操作をエージェントに実行させられるかを検証します。

システムの構成

AutoSFTでは、SFTを一度きりの前処理ではなく、データレシピを反復的に研究するループとして定式化します。比較の中では基盤モデル、トレーナー、予算を固定し、マルチエージェントが次のデータ構成を提案します。

• メタエージェントが実験の実行、結果の解釈、候補案の統合を調整します。
• 実行と分析を分離します。実行側がデータ処理と学習を担当し、分析側が結果を読んで改善案を出します。これにより、実行ログが分析用コンテキストを埋め尽くすことを防ぎます。
• 複数の分析エージェントが異なる観点から提案を作成します。
• 合成エージェントは、既存のデータプールだけでは不足する能力を補う新しい教師データを生成します。
• 各ラウンドで基盤モデルから再学習することで、各モジュールの寄与を切り分けやすくします。

単一エージェントによる初期実験では、エージェントがカテゴリ比率の調整という一つの操作に偏りました。また、実行結果がコンテキストを占有し、探索中に重要な情報が失われました。AutoSFTの構造は、この二つの問題を対象に設計されています。

得られた結果

構成要素を段階的に追加すると、実行器によってコンテキスト損失はおよそ半分になりました。分析サブエージェントは最高のIFEvalを6.5ポイント高め、合成機能はIFEvalでさらに3.4ポイント、IFBenchで2.9ポイントの向上をもたらしました。コード課題にも同じループを移植したところ、分析機能の追加により、改善しなかった単一エージェントのベースラインに対してMBPP+が3.7ポイント向上しました。

重要なのは、単一モデルにデータを何度も修正させればよい、という話ではない点です。自動化されたデータ研究には、実験の実行、結果の分析、代替案の探索、能力不足を埋めるデータ生成を一つの閉ループに組み込む必要があります。

意義と今後の課題

AutoSFTは、自動ハイパーパラメータ調整から自動データエンジニアリングへ進む方向性を示します。人間が行うデータレシピの変更をより広く扱い、実行・分析・合成の役割を明示的に分けた点が特徴です。コード課題への転用結果は、この枠組みが単一の指示追従タスクに限定されない可能性も示します。

一方、提供された素材には、完全なモデル構成、データ規模、運用コスト、各アクションの詳細定義、より広い汎化実験は記載されていません。そのため、現時点では汎用的なポストトレーニング手法が確立したというより、構造化されたマルチエージェントデータ研究の有効性を示す結果と見るのが適切です。

出典：Hugging Face Daily Papers