返回文章列表
AI 智能体

Data World:先构建数据世界,再训练分析智能体

阅读约 3 分钟

导语

数据分析智能体可以编写代码、读取异构文件,并据此回答业务问题。但与标准问答不同,诸如“外卖销售额为什么下降”这类问题往往存在多个合理解释,答案很难被唯一验证。训练数据智能体因此面临三重限制:真实环境制作成本高,企业数据又受到隐私和知识产权约束;更重要的是,开放式分析通常没有预先定义的“生成真值”。

Data World的思路是把问题倒过来处理:不先收集文件,再猜测答案,而是先规定数据世界背后的机制,再由机制生成可观察的数据、任务以及评分标准。这样,研究者可以在数据出现之前确定目标结论,同时保留对任务难度、领域和问题类型的控制。

核心方法

  • 机制先行:系统先描述一个世界中的实体、变量和生成关系,再合成不同格式、不同来源的数据文件。
  • 环境与任务一体化:同一套机制同时产生分析任务和评测量规,避免题目、数据与答案彼此脱节。
  • 独立可恢复性审计:系统检查目标结论是否真的能从智能体可见的文件中推导出来,降低“数据里根本没有答案”的风险。
  • 面向训练与评测:量规既可用于判断开放式回答,也可以转化为强化学习奖励。

研究团队通过人工偏好筛选问题的真实性,最终从50个留出的世界、16个领域中选出100个任务,形成DataWorld-Bench。同时,研究还生成了来自1037个互不重叠世界的2135个训练任务,从而尽量降低训练集与测试集之间的机制泄漏。

实验发现

对10个前沿模型的评估表明,DataWorld-Bench仍然具有较高难度,尤其考验“洞察发现”而不只是计算能力。模型经常能够完成数据汇总、统计计算或代码执行,却难以进一步解释结果意味着什么,这一现象被研究者概括为稳定的“计算—洞察差距”。

在不蒸馏求解轨迹的情况下,研究团队使用合成任务进行RL-zero训练,将Qwen3.6-35B-A3B训练为DataWorld-35B-A3B。匹配评测显示,新模型在DataWorld-Bench、DAComp、DABstep-Hard和JobBench上的得分分别提升7.06、14.28、20.90和12.13分。

意义与局限

Data World的价值不只是扩大训练数据规模,而是提供了一种可控的“数据世界工程”:研究者可以设计机制、生成观测、验证可恢复性,再把同一套机制用于训练和评测。这对需要处理真实文件、编写代码并形成业务判断的智能体尤其重要。

不过,合成环境的有效性仍取决于机制设计和问题真实性。即使答案在生成机制中明确存在,模型在现实世界面对噪声、缺失信息和多重因果时仍可能表现不同。因而,Data World更像是连接可验证训练与真实数据分析的一层基础设施,而不是现实业务环境的完整替代品。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
OpenGCUA:把通用计算机使用代理的完整技术栈开放出来
AI 智能体
cctest.ai
AI 智能体

OpenGCUA:把通用计算机使用代理的完整技术栈开放出来

阿里巴巴 MAI-UI 团队发布 OpenGCUA 首个版本,尝试将通用计算机使用代理从“看截图、点按钮”推进到由模型自主决定观察、行动和任务组织方式。项目同时开放代理框架、提示词、评测轨迹、真实设备工具和跨设备 SDK。

阅读全文
CCTest · Blog
固定模型也能持续进化:Harness RSI 为智能体搭建自我改进框架
AI 智能体
cctest.ai
AI 智能体

固定模型也能持续进化:Harness RSI 为智能体搭建自我改进框架

一篇来自 Hugging Face Daily Papers 的长篇研究讨论了 Harness 自我进化:在不更新基础模型权重的前提下,持续改写智能体的提示词、记忆、工作流、工具和运行逻辑。论文还从进化优化与持续 PAC 学习角度分析了更新的可靠性。

阅读全文