DataPrep-Bench：LLMの「訓練データ準備能力」を下流性能で測る

導入

大規模言語モデルの性能は、モデル設計だけでなく訓練データの質に大きく左右されます。しかし、LLM やエージェント、あるいは自動化されたデータワークフローが「訓練データを準備する能力」をどう測るべきかについては、統一された基準が十分にありませんでした。

DataPrep-Bench は、この問題に対して下流性能に基づく評価枠組みを提示します。ここでいうデータ品質とは、文章が自然か、形式が整っているか、語彙が多様かといった表面的な性質ではありません。実際にモデルを訓練したとき、どれだけ性能向上に貢献するかを中心に置いています。

主なポイント

• 二つの能力を同時に評価：研究では、LLM によるデータ準備を「データ構築」と「データ品質評価」に分けています。前者は生データを教師あり訓練データに変換する能力、後者は候補データセットの訓練価値を事前に予測する能力です。
• 下流訓練結果に基づく設計：データ構築トラックでは、各手法が同一の生データを入力として受け取り、生成したデータを Dolly-15k と組み合わせてベースモデルを微調整します。その後の下流性能が評価指標になります。
• 複数領域・複数モデルで検証：ベンチマークは六つの領域と複数のベースモデルを対象としており、単一タスクに依存しすぎない設計になっています。
• Data-Construction-Skill の公開：著者らはスキル誘導型のエージェント Data-Construction-Skill も提案しています。Llama-3.1-8B の Finance 設定では Dolly のみのベースラインを約 20 絶対ポイント上回り、知識抽出が重要な領域でも強力な agent 系や DataFlow 系手法と競合します。
• DAS による品質評価：Distributional Alignment Score は、候補データセットと領域プロキシの間の MMD を用いる分布ベースの評価指標です。六領域中四領域で最も強いクロスモデル相関を示し、Math、Science、Medical の三領域で同時に r > 0.70 を超えた唯一の指標とされています。

意義と影響

DataPrep-Bench の意義は、データ準備を単なる前処理ではなく、測定可能な研究対象として扱った点にあります。同じ生データ、同じ候補プール、下流性能に基づく共通プロトコルを使うことで、LLM、エージェント、データワークフローを比較しやすくなります。

また、訓練コストが高まるなか、どのデータに計算資源を使うべきかを事前に判断する重要性は増しています。DAS の結果は、きれいなテキストや単純な多様性だけでは訓練価値を十分に捉えられない可能性を示しています。

もちろん、データの価値は領域やモデル、タスクによって変わります。それでも DataPrep-Bench は、訓練データの品質評価を実際のモデル改善に結びつけるべきだという明確な方向性を示しています。

出典：Hugging Face Daily Papers