没有人工问答，语言模型也能自我训练吗？OPST给出一种答案

导语

大语言模型的后训练通常离不开人工编写的问题、标准答案或精心整理的数据集。即使采用自蒸馏，模型也往往需要一个已有的任务分布，才能知道“练什么”和“什么答案算对”。一篇题为《On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models》的研究提出了更激进的设想：如果只给模型一些粗略的主题描述，剩下的训练材料能否由模型自己产生？

核心方法：让模型同时扮演出题者与示范者

论文提出的 On-Policy Self-Training（OPST），将在线自蒸馏重新表述为自训练流程。其基本链条包括：

• 从主题出发生成课程：模型不接收人工问题或答案，而是根据高层主题自行设计查询，逐步形成训练内容。
• 生成“特权”推理示范：模型不仅给出答案，还生成可用于训练的推理轨迹，让后续模型学习更完整的解题过程。
• 使用伪验证过滤样本：一个候选问题并非生成后就直接进入训练。模型需要在新的上下文中再次复现答案，并在问题被改写后仍保持一致，样本才会被保留。
• 扩展到多模态输入：研究还将这一思路用于视觉问答，形成 Visual OPST，用合成的训练信号促进视觉推理。

这里的关键并不是模型“凭空获得”新知识，而是把原本潜藏在模型参数中的能力重新组织、放大和固化。通过在模型自身的分布上生成训练数据，OPST也避免了完全依赖外部教师模型。

研究观察与意义

论文在多个语言基准和视觉问答任务上报告了自我改进现象，并考察了混合不同生成领域后对域外能力的影响。结果显示，模型可以在自训练领域取得进步，同时保留未参与训练领域的一部分能力。对多模态场景的扩展则说明，这种数据生成与筛选逻辑不一定局限于纯文本。

这项工作的价值首先在于重新审视“数据免费”后训练。高质量人工数据仍然重要，但如果模型能够围绕主题生成足够多样的问题，并用一致性检查淘汰部分错误样本，后训练的启动成本或许可以降低。其次，伪验证机制提供了一种不依赖外部标准答案的质量控制思路：它不能保证答案绝对正确，却能减少模型一次性生成错误内容后直接自我强化的风险。

当然，OPST并不意味着监督信号已经彻底消失。主题描述、基础模型本身的知识与能力、训练目标以及评测基准，仍然构成了系统的边界。模型还可能重复已有知识、放大自身偏差，或者在一致地犯错时通过筛选。因而，这项研究更适合被理解为“把监督推向更高层级”，而不是证明模型可以无条件自我进化。若未来能进一步验证长期迭代中的稳定性、事实可靠性和能力覆盖范围，类似方法或许会成为构建领域课程和多模态后训练流程的一条新路径。

来源：Hugging Face Daily Papers