Data World:先构建数据世界,再训练分析智能体
导语
数据分析智能体可以编写代码、读取异构文件,并据此回答业务问题。但与标准问答不同,诸如“外卖销售额为什么下降”这类问题往往存在多个合理解释,答案很难被唯一验证。训练数据智能体因此面临三重限制:真实环境制作成本高,企业数据又受到隐私和知识产权约束;更重要的是,开放式分析通常没有预先定义的“生成真值”。
Data World的思路是把问题倒过来处理:不先收集文件,再猜测答案,而是先规定数据世界背后的机制,再由机制生成可观察的数据、任务以及评分标准。这样,研究者可以在数据出现之前确定目标结论,同时保留对任务难度、领域和问题类型的控制。
核心方法
- 机制先行:系统先描述一个世界中的实体、变量和生成关系,再合成不同格式、不同来源的数据文件。
- 环境与任务一体化:同一套机制同时产生分析任务和评测量规,避免题目、数据与答案彼此脱节。
- 独立可恢复性审计:系统检查目标结论是否真的能从智能体可见的文件中推导出来,降低“数据里根本没有答案”的风险。
- 面向训练与评测:量规既可用于判断开放式回答,也可以转化为强化学习奖励。
研究团队通过人工偏好筛选问题的真实性,最终从50个留出的世界、16个领域中选出100个任务,形成DataWorld-Bench。同时,研究还生成了来自1037个互不重叠世界的2135个训练任务,从而尽量降低训练集与测试集之间的机制泄漏。
实验发现
对10个前沿模型的评估表明,DataWorld-Bench仍然具有较高难度,尤其考验“洞察发现”而不只是计算能力。模型经常能够完成数据汇总、统计计算或代码执行,却难以进一步解释结果意味着什么,这一现象被研究者概括为稳定的“计算—洞察差距”。
在不蒸馏求解轨迹的情况下,研究团队使用合成任务进行RL-zero训练,将Qwen3.6-35B-A3B训练为DataWorld-35B-A3B。匹配评测显示,新模型在DataWorld-Bench、DAComp、DABstep-Hard和JobBench上的得分分别提升7.06、14.28、20.90和12.13分。
意义与局限
Data World的价值不只是扩大训练数据规模,而是提供了一种可控的“数据世界工程”:研究者可以设计机制、生成观测、验证可恢复性,再把同一套机制用于训练和评测。这对需要处理真实文件、编写代码并形成业务判断的智能体尤其重要。
不过,合成环境的有效性仍取决于机制设计和问题真实性。即使答案在生成机制中明确存在,模型在现实世界面对噪声、缺失信息和多重因果时仍可能表现不同。因而,Data World更像是连接可验证训练与真实数据分析的一层基础设施,而不是现实业务环境的完整替代品。
评论
正在确认登录状态……
正在加载评论……