基础模型训练，能否只用一种算法完成？

导语

当前基础模型通常经历多阶段训练：先进行大规模预训练，再根据需要开展中间训练、监督微调（SFT）和强化学习（RL）。不同阶段往往使用不同数据、损失函数与训练基础设施。论文《Training Foundation Models with a Single Algorithm》提出，这种“分阶段、换算法”的做法可能更多是工程惯例，而不是理论上的必然选择。

核心思路：把不同训练阶段放进同一框架

研究的关键并不是取消数据或目标的差异，而是重新解释强化学习目标。作者推导出一类形式，使强化学习可以被视为：让模型通过最大似然学习由模型自身生成、并经过目标分布定义的训练结果。这样一来，强化学习与传统监督学习在优化形式上就具备了共同基础。

在这一视角下，预训练、SFT 和 RL 不再是必须依次执行的独立模块，而可以看作同一似然训练算法面对不同数据源与目标分布时的不同用法。统一训练系统因此能够在单一训练器中混合静态数据与强化学习生成样本。

训练重点从“阶段”转向“配方”

统一框架带来的变化，首先体现在训练策略的表达方式上。研究者需要决定的重点变成：

• 选择哪些数据进行训练；
• 静态数据与模型生成数据分别占多大比例；
• 不同数据何时加入，以及如何调整顺序；
• 如何在任务能力与通用能力之间保持平衡。

传统的阶段式训练并没有被否定，它可以被看作统一训练中的一种特殊数据调度方案。换言之，统一训练提供的是更大的策略空间，而不是要求所有模型都采用完全相同的训练流程。

实验结果与意义

论文报告称，在受控实验和真实场景实验中，统一训练改善了准确率与计算成本之间的权衡，同时扩大了任务覆盖范围，并保留更广泛的能力。研究还指出，经过统一训练的模型能够成为持续学习的更强起点。这意味着模型后续接触新任务时，训练过程或许不必再严格拆分为“先微调、再强化”的固定管线。

更重要的是，这项工作把训练算法、数据混合策略和能力发展放到了同一个研究框架中。它提示业界，未来基础模型训练的核心问题可能不只是设计新的损失函数，而是理解不同数据分布如何共同塑造模型能力。当然，统一算法并不自动解决数据质量、目标设计、训练稳定性或能力遗忘等问题；这些问题仍取决于具体的数据与调度方案。研究的价值在于提供了一个统一的数学和工程起点，让这些问题能够在同一套语言下被比较和优化。

来源：Hugging Face Daily Papers