DS-Lighting：把数据科学智能体的“运行框架”摆到台面上

导语

当大语言模型被用于自动完成数据清洗、建模和实验提交时，研究者往往把注意力集中在模型能力或智能体策略上。但一套系统最终能否稳定工作，还取决于许多“模型之外”的环节：任务输入如何组织，执行过程如何记录，允许产出哪些文件，以及结果由什么指标判定。若这些部分没有被清晰定义，不同实验之间就很难公平比较，失败也难以归因。

arXiv 论文提出的 DS-Lighting，正是针对这一问题设计的一套数据科学智能体运行框架。它的核心不是推出新的基础模型，而是把智能体背后的 harness（支撑其运行的任务、状态、约束和评估机制）显式化、模块化。

核心要点

• 四层拆解。 DS-Lighting将 harness 划分为数据、工作流、执行和评估四层。数据层负责定义任务所需的数据与接口；工作流层描述步骤及其衔接；执行层管理运行状态和沙箱环境；评估层规定输出产物与衡量标准。
• 统一表达智能体。 不同智能体被表示为可执行的算子程序，因此既能描述预先设定的流水线，也能支持根据中间结果不断调整方案的自适应搜索。
• 统一基准接口。 项目将多个开源数据科学基准整合为类似 MLE-Bench 的任务格式，在共享任务接口、隔离运行环境和指标协议下进行比较。
• 关注系统级失败。 论文的实验覆盖智能体、harness、模型和消融设置。摘要显示，明确的 harness 设计有助于提高复现性、可比性和可靠性，并减少由系统组织方式导致的失败。

为什么重要

这项工作的价值在于重新划分了数据科学自动化的评估对象。过去，两个系统即使使用同一个模型，也可能因为提示词、文件约束、执行环境或评分方式不同而得到不可直接比较的结果。DS-Lighting试图把这些变量变成可配置、可复用的组件，从而让研究者更容易判断：性能差异究竟来自模型、智能体策略，还是运行框架。

对工程实践而言，显式的层次设计也有助于定位问题。一个任务失败时，可以分别检查数据接口、流程控制、运行状态和评估规则，而不是把所有问题都归结为模型“不会做”。对基准建设者来说，统一格式则提供了更稳定的实验边界，便于在异构任务之间开展受控比较。

当然，harness 的标准化并不等于自动消除数据科学任务的复杂性。不同任务仍可能需要不同的搜索空间、工具和评价方式，框架本身也需要在灵活性与可控性之间取得平衡。DS-Lighting更像是一种基础设施思路：先把智能体运行的隐含条件明确下来，再讨论模型和策略谁更强。其代码已公开，为后续复现和扩展提供了入口。

arXiv