语言模型开始改写自己的权重:一次不靠梯度的自我修复实验
一项研究报告称,27B 参数模型可以根据自身作答表现诊断问题,并直接编辑自己的权重。实验中,改写后的模型在未见题目上准确率提高,受损副本也得到修复。
阅读全文一项研究报告称,27B 参数模型可以根据自身作答表现诊断问题,并直接编辑自己的权重。实验中,改写后的模型在未见题目上准确率提高,受损副本也得到修复。
阅读全文一项研究提出,不用梯度微调、训练样本或外部工具,也能把确定性算术与逻辑电路嵌入预训练语言模型。初步测试显示,这种方法在指定任务上表现突出,但其适用范围仍需进一步验证。
阅读全文一项研究发现,针对Transformer门控投影学习一个二值删除掩码,只将不到0.05%的预训练权重置零,就能在多种后训练任务中接近全量微调效果。更小的更新体积和较少的能力遗忘,使这种方法成为持续学习的一种新思路。
阅读全文一项针对 Qwen3-30B-A3B 的研究,用稀疏自编码器分析 MoE 层输出,发现专家真正贡献的语义特征比路由选择更集中。专家的职责并非停留在“代码”或“数学”等粗粒度领域,而是进一步分化为 Java、前端、几何、算术等更细的能力方向。
阅读全文一项研究发现,未绑定输入嵌入的门控语言模型可能因少见词元的向量被权重衰减压至近零,进而触发梯度爆炸、裁剪溢出和更新丢失。研究提出 GroupClip 与 GateFloor,分别面向已有模型和预训练过程。
阅读全文单人从零训练的 Metis-1.6 试图用混合架构、参数激活和训练方法弥补规模差距。它没有击败前沿模型,却在数学能力、训练数据效率和主动参数规模之间展示了有价值的折中。
阅读全文一项早期研究显示,前沿大语言模型不仅能从原始权重推断小型网络的功能,还能绕过梯度训练直接修改权重。研究团队称,Astra对Qwen3.5-0.8B的少量权重编辑显著提升了数学与指令跟随表现。
阅读全文WISD通过量化或剪枝构造原模型的弱化副本,再利用两者的行为差异形成训练信号,在没有标注数据、外部教师或特权信息的情况下提升数学与代码推理能力。
阅读全文OPST尝试把后训练中的监督信号进一步压缩:模型只依据粗粒度主题,自行生成问题、答案和推理示范,再通过伪验证筛选可用样本。研究显示,这种完全合成的数据能够推动语言与多模态推理能力提升。
阅读全文一项研究提出面向合成改写数据的规模定律,用统一框架评估模型规模、训练 token、改写比例与自然数据重复轮次的关系。结果显示,随着训练算力增加,最优合成改写比例也会上升,且学生模型有机会以更低训练成本超过改写模型。
阅读全文TraceForge提出一种不依赖教师模型隐藏思维链的蒸馏方法:只使用上下文和最终答案,生成符合学生模型风格的推理轨迹。实验显示,这类合成推理数据在代码任务上优于直接使用其他模型生成的思维链。
阅读全文南京大学团队提出不确定性引导的渐进式收缩框架,通过识别最有学习价值的推理轨迹,减少大语言模型推理后训练中的数据与优化开销。实验显示,在部分设置下,训练预算可降至完整数据 SFT 的 0.22%。
阅读全文传统MoE训练通常关注各专家接收的Token数量是否均衡,但均衡并不代表专家真正擅长处理被分配的数据。DRMoET将专家损失纳入路由鲁棒性优化,在不改变稀疏计算方式的前提下,提升模型应对错误或非最优路由的能力。
阅读全文最新研究发现,基础模型的推理能力可能被藏在训练数据形成的“开场提示”中。固定几个响应开头,就能显著提升模型在数学和编程任务上的表现,部分接近强化学习模型。
阅读全文研究团队提出棋类语言模型Queen,将棋力强但不会解释的专家编码器,与能够生成自然语言的指令模型结合。经过迭代蒸馏,4B参数模型的棋力从1782提升至2697 Elo,并生成接近高水平语言模型的连贯解释。
阅读全文Dust 用激活扰动和零阶优化替代反向传播,在 Transformer 语言模型预训练中取得了接近后者的表现。它并非当下更省算力的方案,却展示了“虚拟种群”搜索训练的新方向。
阅读全文一项新研究发现,许多预训练Transformer并非没有完成长链引用的能力,而是在中途停止了有效计算。仅在早期一层加入 rank-8 LoRA,就能让冻结的中间层继续传递链式信息。
阅读全文Meta 研究团队提出 Loop Scaling Laws,将循环计算、MoE 稀疏性、模型规模和数据纳入同一套扩展规律。结果显示,循环与稀疏化并非二选一,而是可以协同提升模型效率。
阅读全文一项来自北京大学的研究发现,经过编码后训练的语言模型,即使只对无关提示回答一个普通单词,也可能让另一个模型获得编码能力。研究者将这种隐藏在无关决策中的影响称为“行为阴影”。
阅读全文Cohere Labs 的研究显示,模型并不一定需要在每种语言上都获得完整的推理监督。通过扩大语言覆盖、引入多语非推理数据,并保留足够强的英语推理能力,模型可以将推理行为迁移到更多语言。
阅读全文NCP-ArchPreview在传统下一词预测之外,引入覆盖多个词元的下一概念预测,将离散概念空间纳入语言模型训练。技术报告显示,该8.9B参数模型在更少训练词元和计算量下取得了具有竞争力的预训练与下游表现。
阅读全文