OriginBlame：把 AI 训练数据溯源细化到记录与 token

导语

当数据贡献者要求从训练集中移除自己的内容时，模型训练方往往会遇到一个尴尬问题：机器学习“遗忘”算法通常需要一个明确的 forget set，也就是要忘掉的样本集合；但在现实的数据清洗、切分、去重、拼接和 token 化流程之后，平台未必还能准确知道哪些训练记录属于某个作者。

arXiv 论文《OriginBlame: Record- and Token-Level Data Provenance for AI Training Datasets》关注的正是这个缺口。作者提出的 OriginBlame，简称 ob，是一个面向 AI 训练数据集的记录级与 token 级数据溯源系统，目标不是改进某一种模型结构，而是让训练数据在进入模型之前就保留可查询的来源线索。

核心要点

• 从“数据集级”下沉到“记录级”和“token 级”：传统溯源常停留在文件或整个数据集层面。一旦某位作者撤回授权，训练方可能只能删除过大的数据块，造成严重过度删除。OriginBlame 试图记录更细粒度的作者身份流向。
• 把撤回请求变成确定性查询：系统将作者身份随数据处理流水线传播，在收到删除请求时，通过确定性查询定位对应训练记录，生成更精确的 forget set。
• 降低过度删除：在 219,555 个 Wikipedia 页面上的评估显示，记录级溯源把数据集级方案中高达 101x 的过度删除降到 1.3x。
• 工程开销可量化：论文报告，集成到 HuggingFace 管线在 wiki 数据上带来 1.3% 到 4.0% 的吞吐开销；集成到 Datatrove 的开销为 2.1% 到 19.0%。
• 对遗忘效果有帮助：在 1.7B 参数模型实验中，基于溯源得到的 forget set 相比随机基线将遗忘效果提升 42%。

意义与影响

这项工作的重要性在于，它把“数据删除权”从法律或产品层面的抽象要求，推进到训练基础设施层面的可执行问题。对于大模型公司而言，真正困难的不是承诺删除，而是证明自己知道该删什么、删到什么粒度，以及删除后如何支持后续遗忘流程。

OriginBlame 的思路也提醒行业：数据治理不能只在模型发布后补救。若训练数据在最初处理时没有保留足够细的来源信息，后续无论是合规审计、作者撤回，还是模型 unlearning，都可能被迫采用粗暴删除，牺牲数据利用率和模型质量。

当然，论文目前展示的是系统设计与特定数据、管线和模型规模下的评估，并不等同于解决了所有版权、授权或隐私问题。但它提供了一个清晰方向：未来的 AI 数据基础设施，需要像管理代码版本和依赖关系一样，管理训练样本和 token 的来源。

来源：arXiv