大语言模型

南京大学团队提出不确定性引导的渐进式收缩框架，通过识别最有学习价值的推理轨迹，减少大语言模型推理后训练中的数据与优化开销。实验显示，在部分设置下，训练预算可降至完整数据 SFT 的 0.22%。

传统MoE训练通常关注各专家接收的Token数量是否均衡，但均衡并不代表专家真正擅长处理被分配的数据。DRMoET将专家损失纳入路由鲁棒性优化，在不改变稀疏计算方式的前提下，提升模型应对错误或非最优路由的能力。

最新研究发现，基础模型的推理能力可能被藏在训练数据形成的“开场提示”中。固定几个响应开头，就能显著提升模型在数学和编程任务上的表现，部分接近强化学习模型。

研究团队提出棋类语言模型Queen，将棋力强但不会解释的专家编码器，与能够生成自然语言的指令模型结合。经过迭代蒸馏，4B参数模型的棋力从1782提升至2697 Elo，并生成接近高水平语言模型的连贯解释。

Dust 用激活扰动和零阶优化替代反向传播，在 Transformer 语言模型预训练中取得了接近后者的表现。它并非当下更省算力的方案，却展示了“虚拟种群”搜索训练的新方向。

一项新研究发现，许多预训练Transformer并非没有完成长链引用的能力，而是在中途停止了有效计算。仅在早期一层加入 rank-8 LoRA，就能让冻结的中间层继续传递链式信息。

Meta 研究团队提出 Loop Scaling Laws，将循环计算、MoE 稀疏性、模型规模和数据纳入同一套扩展规律。结果显示，循环与稀疏化并非二选一，而是可以协同提升模型效率。

一项来自北京大学的研究发现，经过编码后训练的语言模型，即使只对无关提示回答一个普通单词，也可能让另一个模型获得编码能力。研究者将这种隐藏在无关决策中的影响称为“行为阴影”。

Negative Self-Distillation提出一种“反向自蒸馏”思路：模型不再被迫复制带有特权信息的标准推理轨迹，而是主动远离自己生成的低质量推理。该方法试图在不依赖人工标签的情况下，保留模型的探索与自我纠错能力。

Cohere Labs 的研究显示，模型并不一定需要在每种语言上都获得完整的推理监督。通过扩大语言覆盖、引入多语非推理数据，并保留足够强的英语推理能力，模型可以将推理行为迁移到更多语言。

NCP-ArchPreview在传统下一词预测之外，引入覆盖多个词元的下一概念预测，将离散概念空间纳入语言模型训练。技术报告显示，该8.9B参数模型在更少训练词元和计算量下取得了具有竞争力的预训练与下游表现。

一项针对1.7B至70B规模指令模型的研究发现，模型往往已经在内部识别出数学和代码问题的结构性不可解，却没有把这一信号路由为拒答行为。问题更像是“识别—行动”之间的错配，而非能力缺失。

Qwen团队公布Qwen3.8-Flash-Next的架构与消融研究：模型以1250亿参数、每token激活60亿参数为基础，通过混合状态空间与注意力、门控残差及主机侧n-gram表降低训练成本。论文更强调，损失、下游能力、推理开销和训练稳定性必须联合优化。

SPOT 针对大模型 On-Policy Distillation 中“只看教师局部概率”的不足，提出稀疏探测与结果校准机制。它用有限预算挑选关键位置，再用验证器评分的后续生成结果来重塑蒸馏目标。

这篇论文提出 U-OPSD：只利用模型自身多次生成结果的一致性来构造伪答案，并在分歧样本上进行自蒸馏。实验显示，该方法在数学推理基准上可稳定提升 Qwen3 等模型表现，并能匹敌或超过带真值监督的方法。

这篇技术报告提出一种训练期可解释语言模型路线：不是在模型训练后再解释黑箱，而是把可解释性作为训练目标的一部分。其代表模型 Steerling-8B 试图在生成结果、输入 token、概念与训练数据之间建立可追溯关系。

Meta 相关研究提出 Skaling law，用一个交互指数刻画模型容量与训练数据之间的耦合关系，试图修正传统神经缩放定律在极端训练区间的预测偏差。

字节跳动据称正在训练一个最高可达 10 万亿参数的 AI 模型，目标直指 Anthropic 旗下最先进系统的能力区间。若进展顺利，这将成为中国大厂冲击顶级闭源模型的重要一步。

GradCuit 提出一种测试时潜变量优化方法，把可优化的连续状态插入 Transformer 中间层，让最终答案的反馈能直接回传到内部推理状态。实验显示，它在多个指令微调模型和推理基准上较 CoT 与同类方法取得更稳健的提升。

微软研究等作者提出 Weak-to-Strong On-Policy Distillation，试图解决前沿模型缺少更强教师模型时的蒸馏难题。它用多个较弱模型在 logit 空间构造“代理教师”，让强学生模型从弱监督中继续提升。

这篇论文提出 Multi-Head Attention Residuals（MHAR），试图解决 Transformer 残差流只能以单一方式读取深度历史的问题。它用按特征子空间拆分的多头 softmax 做层间路由，在几乎不增加参数和计算的情况下改善验证损失。