让模型少训练也能学得更多：用不确定性压缩推理后训练

导语

推理模型的训练正在面临一个现实矛盾：更大的推理语料通常意味着更高的后训练成本，但数据规模扩大并不一定带来同等幅度的能力提升。问题因此不只是“还需要多少数据”，还包括“哪些推理过程真正值得训练”。南京大学团队在论文《Learning More by Training Less》中，提出了一套由不确定性驱动的渐进式收缩框架，试图把监督和优化都集中到更有价值的部分。

核心方法

这项工作的出发点，是改变对教师模型思维链的理解。传统做法往往把一条教师生成的 Chain-of-Thought 当作完整、固定的监督路径。但单一路径无法充分呈现模型在中间步骤上的犹豫、分歧和潜在错误。

论文首先围绕推理过程中的中间状态构建蒙特卡洛推理树。通过从不同中间节点继续采样，研究者可以观察多个可能的后续路径，并据此形成“带有不确定性画像”的推理监督。这里的不确定性并非简单的数据噪声，而是对推理过程哪些位置更不稳定、更能反映学习价值的估计。

框架包含两个连续阶段：

• 教师感知的收缩：利用推理树和过程级不确定性，从原始监督语料中筛选出更紧凑的训练池，减少低价值或高度重复的轨迹。
• 学习者感知的收缩：在监督微调过程中，根据学生模型不断变化的学习状态进行在线路由，把优化资源动态分配给当前更需要学习的样本或推理路径。

换句话说，第一阶段压缩“训练什么”，第二阶段进一步决定“此时训练什么”。这种渐进式设计避免了仅凭静态数据筛选做出一次性判断，也让数据选择能够随着学生模型的能力变化而调整。

实验结果与意义

根据论文摘要，方法在多种推理基准和不同大语言模型家族上进行了验证。在部分实验设置中，其优化预算最低可达到完整数据 SFT 的 0.22%，训练暴露量减少超过 450 倍，同时保持或提升推理表现。论文还报告了对异构学生模型、黑盒教师模型以及弱模型向强模型迁移场景的泛化能力。

这项工作的价值不只是节省算力。它提示推理后训练可以从“尽可能多地喂数据”转向“更精确地分配学习机会”。如果过程级不确定性确实能够稳定识别高价值监督，那么未来的数据构建、课程学习和在线微调都可能更多采用动态路由机制。

当然，摘要没有披露完整的模型规模、数据构成、筛选比例和各基准的具体结果，因此 0.22% 应理解为特定实验条件下的最低预算，而不是普遍适用的训练配置。该方法还需要在更广泛的任务、教师质量和推理长度条件下验证成本收益关系。总体而言，这项研究为降低推理模型后训练门槛提供了一个清晰方向：压缩的不应只是数据量，更应是无效的优化步骤。

来源：Hugging Face Daily Papers