让语言模型学会改进语言模型：LM2LM如何用世界模型降低试错成本

导语

如果语言模型能够帮助研究者设计下一代语言模型，那么模型开发就可能形成某种“经验驱动”的递归改进循环。但现实中的瓶颈并不只是生成想法，而是验证想法：每个训练策略、数据处理方案或架构调整，都可能需要完整的模型训练才能知道是否有效。LM2LM研究的重点，正是能否用强化学习训练一个模型，让它逐渐学会提出更有价值的语言模型改进方案。

核心方法

LM2LM由两个关键部分组成：

• 提案模型：负责生成语言模型改进方案，并通过强化学习优化生成策略。
• 研究世界模型：一个被冻结的语言模型。它读取真实实验记录，并根据这些上下文预测某个新方案可能带来的性能增益。

传统做法需要为大量候选方案运行真实训练，以获得强化学习奖励。论文指出，训练提案模型可能需要评估数万条提案；如果每次实验都消耗约十个B200 GPU小时，奖励收集就会带来数十万GPU小时的成本。LM2LM让研究世界模型先用文本形式预测结果，从而把大部分奖励计算从昂贵的模型训练，转变为相对便宜的推理过程。

不过，预测模型并不等于真实实验。强化学习会不断改变提案分布，提案模型可能专门生成那些容易被研究世界模型高估的方案。为应对这种“奖励模型被利用”的问题，LM2LM会定期从当前策略中挑选世界模型评分最高的提案，执行真实实验，再把测得的结果加入研究世界模型的上下文。这个过程相当于持续进行在策略校准，让预测器随着策略变化更新依据。

结果与成本含义

论文在八个自回归和扩散语言模型开发环境中进行评估，并在留出任务上检验真实执行效果。结果显示，经过LM2LM训练的Qwen3.8-27B超过了GPT-6-sol，即使后者获得了300条真实实验记录作为上下文；论文还报告了跨到未见过的模型家族的迁移表现。

成本对比同样是这项工作的重点。LM2LM训练阶段只执行200次真实实验，费用约为4.01万美元、耗时343小时；作为对照，依赖300条实验记录的上下文学习基线需要约6万美元和510小时。按论文给出的测算，LM2LM在该比较中节省约三分之一，同时取得更好的结果。

意义与局限

LM2LM展示了一条“模拟反馈加少量真实验证”的研究自动化路径。它的价值不在于完全取消实验，而在于把真实实验从密集的奖励采集环节，转移到针对高价值候选的校准环节。这种设计也说明，研究世界模型的可靠性不是一次训练后就能固定的，而需要随着策略分布变化持续接受真实数据约束。

当然，论文结果并不意味着语言模型已经能够自主完成完整的AI研究流程。方法的效果依赖于实验记录的质量、世界模型的预测能力，以及校准实验是否覆盖了策略最容易产生偏差的区域。未来，如何检测错误的研究假设、处理跨任务迁移，并在更复杂的实验空间中控制验证预算，仍是递归自我改进走向实用化必须解决的问题。

来源：Hugging Face Daily Papers