Data World、データ世界を先に作り分析エージェントを訓練

導入

データ分析エージェントは、コードを書き、形式の異なるファイルを読み込み、業務上の問いに答えられる。しかし、「フードデリバリーの売上が落ちた理由は何か」といった問いは、複数の説明が成立し得るため、正解を一つに定めることが難しい。人間の専門家でさえ判断が分かれる場合がある。

この性質は、エージェントの訓練に大きな制約を与える。実データの収集と環境構築には高いコストがかかり、企業データにはプライバシーや知的財産の制限がある。さらに、自由度の高い分析では、答えを照合するための既知の生成真値が存在しないことも多い。

Data Worldは、通常とは逆の順序を採用する。まずファイルの背後にある「世界」を定義し、その世界の仕組みから観測データ、分析課題、採点基準を生成する。つまり、ファイルを先に集めて答えを推測するのではなく、目標となる結論を仕組みの中で定めてから、エージェントが見るデータを作る。

主要な仕組み

• メカニズム優先：エンティティ、変数、関係性を先に記述し、その後でデータファイルを生成する。
• 環境の一体設計：データ、質問、評価ルーブリックを同じ生成過程で作り、相互の不整合を抑える。
• 復元可能性の監査：エージェントが観測できるファイルから、目標となる結論を実際に導けるか独立に確認する。
• 訓練への接続：ルーブリックを通常の評価だけでなく、強化学習の報酬にも利用する。

研究チームは、人間の選好に基づいて質問の現実味を確認した。DataWorld-Benchには、50個のホールドアウトされた世界と16分野から選ばれた100課題が含まれる。また訓練用には、1037の互いに重複しない世界から2135課題を生成し、訓練と評価の仕組みが直接重ならないようにしている。

実験結果

10種類のフロンティアモデルによる評価では、ベンチマークは依然として難しく、特に単なる計算ではなく「洞察の発見」を求める課題で難度が高かった。モデルは集計やコード実行をこなしても、その結果が何を意味するのか、どの傾向が重要なのかを説明できないことがある。研究ではこの現象を、計算能力と洞察能力のギャップとして捉えている。

研究チームは、解答軌跡の蒸留を行わず、合成課題によるRL-zero訓練を実施した。Qwen3.6-35B-A3Bを基盤にしたDataWorld-35B-A3Bは、同条件の評価でDataWorld-Bench、DAComp、DABstep-Hard、JobBenchにおいて、それぞれ7.06、14.28、20.90、12.13ポイントの改善を示した。

意義と限界

Data Worldの意義は、合成データの量を増やすだけではない。生成メカニズムを定義し、観測データを作り、目標の復元可能性を監査し、その構造を訓練と評価の両方に再利用できる点にある。ファイルを扱い、コードを実行し、最終的に業務上の判断を示すエージェントを開発するうえで、再現可能な環境設計の基盤になり得る。

一方で、成果は生成メカニズムと質問の現実性に左右される。現実のデータには欠損、測定誤差、交絡、複数の原因が含まれ、制御された世界ほど簡単に結論を復元できない可能性がある。そのためData Worldは、実環境を完全に置き換えるものではなく、検証可能な訓練と現実のデータ分析をつなぐ基盤として見るのが適切だろう。

出典：Hugging Face Daily Papers