CCTest · Blog
稀疏自编码器揭示:MoE 专家正在进行细粒度分工
大语言模型
cctest.ai
大语言模型

稀疏自编码器揭示:MoE 专家正在进行细粒度分工

一项针对 Qwen3-30B-A3B 的研究,用稀疏自编码器分析 MoE 层输出,发现专家真正贡献的语义特征比路由选择更集中。专家的职责并非停留在“代码”或“数学”等粗粒度领域,而是进一步分化为 Java、前端、几何、算术等更细的能力方向。

阅读全文
CCTest · Blog
没有人工问答,语言模型也能自我训练吗?OPST给出一种答案
大语言模型
cctest.ai
大语言模型

没有人工问答,语言模型也能自我训练吗?OPST给出一种答案

OPST尝试把后训练中的监督信号进一步压缩:模型只依据粗粒度主题,自行生成问题、答案和推理示范,再通过伪验证筛选可用样本。研究显示,这种完全合成的数据能够推动语言与多模态推理能力提升。

阅读全文
CCTest · Blog
合成改写的规模定律:算力越高,合成数据占比应越大
大语言模型
cctest.ai
大语言模型

合成改写的规模定律:算力越高,合成数据占比应越大

一项研究提出面向合成改写数据的规模定律,用统一框架评估模型规模、训练 token、改写比例与自然数据重复轮次的关系。结果显示,随着训练算力增加,最优合成改写比例也会上升,且学生模型有机会以更低训练成本超过改写模型。

阅读全文
CCTest · Blog
TraceForge:没有隐藏思维链,也能蒸馏出适合学生模型的推理数据
大语言模型
cctest.ai
大语言模型

TraceForge:没有隐藏思维链,也能蒸馏出适合学生模型的推理数据

TraceForge提出一种不依赖教师模型隐藏思维链的蒸馏方法:只使用上下文和最终答案,生成符合学生模型风格的推理轨迹。实验显示,这类合成推理数据在代码任务上优于直接使用其他模型生成的思维链。

阅读全文
CCTest · Blog
让模型少训练也能学得更多:用不确定性压缩推理后训练
大语言模型
cctest.ai
大语言模型

让模型少训练也能学得更多:用不确定性压缩推理后训练

南京大学团队提出不确定性引导的渐进式收缩框架,通过识别最有学习价值的推理轨迹,减少大语言模型推理后训练中的数据与优化开销。实验显示,在部分设置下,训练预算可降至完整数据 SFT 的 0.22%。

阅读全文
CCTest · Blog
MoE不只要负载均衡:DRMoET让专家更能扛住路由偏差
大语言模型
cctest.ai
大语言模型

MoE不只要负载均衡:DRMoET让专家更能扛住路由偏差

传统MoE训练通常关注各专家接收的Token数量是否均衡,但均衡并不代表专家真正擅长处理被分配的数据。DRMoET将专家损失纳入路由鲁棒性优化,在不改变稀疏计算方式的前提下,提升模型应对错误或非最优路由的能力。

阅读全文
CCTest · Blog
4B参数模型也能下棋并解释:Queen如何把引擎能力交给语言模型
大语言模型
cctest.ai
大语言模型

4B参数模型也能下棋并解释:Queen如何把引擎能力交给语言模型

研究团队提出棋类语言模型Queen,将棋力强但不会解释的专家编码器,与能够生成自然语言的指令模型结合。经过迭代蒸馏,4B参数模型的棋力从1782提升至2697 Elo,并生成接近高水平语言模型的连贯解释。

阅读全文
CCTest · Blog
NCP-ArchPreview:让语言模型从预测下一个词走向预测下一个概念
大语言模型
cctest.ai
大语言模型

NCP-ArchPreview:让语言模型从预测下一个词走向预测下一个概念

NCP-ArchPreview在传统下一词预测之外,引入覆盖多个词元的下一概念预测,将离散概念空间纳入语言模型训练。技术报告显示,该8.9B参数模型在更少训练词元和计算量下取得了具有竞争力的预训练与下游表现。

阅读全文