合成改写的规模定律：算力越高，合成数据占比应越大

导语

合成数据已经从实验性技术变成大模型预训练中的常见组成部分。除了生成问答、代码或推理样本，模型还可以把自然文本改写成特定风格，再将这些改写结果加入训练语料。不过，一个现实问题始终没有清晰答案：究竟应该投入多少算力来改写数据？改写模型生成的内容，是否可能帮助另一个模型超过它自身？

arXiv 论文《Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints》试图用规模定律回答这两个问题。

核心方法与发现

研究者提出一种针对“合成改写”的规模定律，将最终损失与以下因素联系起来：

• 目标模型规模；
• 训练 token 数量；
• 训练语料中合成改写 token 的比例；
• 对自然数据进行重复训练的轮数；
• 生成改写数据所消耗的计算成本。

这一点很关键。许多关于数据配比的讨论默认合成数据已经存在，因而容易忽略生成这些数据需要消耗推理算力。该研究则把改写成本计入整体计算预算，试图寻找真正意义上的最优比例。

在“算力受限”设置中，自然数据被视为充足，改写数据来自一个训练算力高于实验最大规模的第三方改写模型。结果显示，最优改写比例会随着预算增长而提高：在约 3×10^18 FLOPs 时低于 10%，到 10^22 FLOPs 时升至 32%。研究还将规模定律外推到 220 亿参数模型，训练算力扩大 33 倍后，最终损失与预测值的偏差为 1.1%。

更值得注意的是，实验中的 220 亿参数模型在多个网页领域取得了优于改写模型的 BPB，同时训练算力只有后者的十分之一。BPB，即每字节比特数，是衡量语言模型压缩和预测能力的指标；这里的结果说明，改写数据并不只是简单复制生成者的能力。

在“数据受限”设置中，研究假设自然数据只有固定的种子集合，改写模型与目标模型规模相同，并且都基于这批种子数据预训练。即便如此，最优改写比例仍随算力预算增加而提高。对于不超过 30 亿参数的模型，使用同尺寸改写模型生成的自身预训练数据改写版本，均优于只训练自然数据的最佳结果。

意义与边界

这项工作的核心价值，不是给出一个适用于所有任务的固定配方，而是说明合成改写可以像模型规模和数据规模一样被系统建模。对实践者而言，低预算训练时盲目大规模改写可能并不划算；当训练算力上升，增加合成数据占比则可能更有价值。

研究也挑战了“学生模型无法超过教师或改写器”的直觉。改写数据经过目标任务筛选和重新训练后，可能形成更适合目标模型的分布，因此最终模型未必受限于改写器的表现。

不过，现有材料主要呈现摘要层面的结果，尚不能判断该规律对不同改写任务、数据质量、改写提示或模型架构的普适性。合成数据的重复、偏差累积和事实可靠性，也仍需要在更广泛的评测中验证。更稳妥的结论是：合成改写不应被视为免费的数据扩充手段，而应被纳入端到端的算力—数据优化问题。

来源：arXiv