返回文章列表

把算术电路“编译”进大模型权重:无需训练的新尝试

阅读约 2 分钟

大语言模型能写出算式,却未必能稳定算对多位数运算。常见补救办法是微调模型,或让它调用计算器等外部工具。一篇新研究提出另一条路线:把确定性计算电路直接“编译”进预训练模型的权重中,不做梯度更新、不用训练样本,也不在推理时挂接外部程序。模型仍通过原有的 model.generate() 执行。

这并非简单地把计算规则写成提示词。论文设计了自动化编译流程,将 4 至 8 位有符号加、减、乘,以及布尔、Majority 和 Parity 等电路映射到模型结构。其关键难点是,Transformer 中的归一化会改变内部数值尺度,跨 token 传递操作数也需要可靠路由。研究以 Mellin-GLU 机制适应 RMSNorm 带来的尺度变化,并通过注意力或 GatedDeltaNet 等结构处理跨 token 信息传递;还借助扩展隐藏维度和调整输出映射来发出规范化结果。

论文报告的主要结果包括:在 6 位算术测试中,Granite 4.2 3B 的 ALU 前缀准确率为 99.17%,Qwen 3.5 4B 为 100%;使用 FP32 电路侧车时,测试准确率达到 100%。布尔电路测试样本数为 1,728,Majority 与 Parity 测试也报告 100%。作者还称新增活动权重低于模型的 0.06%,并报告 11,134 个域外输入中未出现误触发,以及 14 个预注册自然语言评测切分未显示非劣效问题。

这些数字说明,神经网络权重或许不仅能承载从数据中学到的模式,也能容纳结构化、确定性的计算程序。但“测试集准确”不等于任意表达方式、任意长度和所有数值精度下都可靠;摘要也未提供足以独立判断完整适用边界的细节。值得关注的下一步,是检验跨提示格式、模型架构与量化设置的稳定性,并核对自然语言能力是否在更广泛的独立评测中保持。

若方法经后续验证,它可能为模型内置小型、可预测的计算能力提供一种不同于微调和工具调用的选择。对实际应用而言,优势在于推理路径更集成;代价则是需要审慎设计编译器、权重改动和验证流程。它不是让语言模型突然获得普遍可靠的数学推理,而是探索如何把边界明确的计算任务,以可审计的方式装入现有模型。

Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
稀疏自编码器揭示:MoE 专家正在进行细粒度分工
大语言模型
cctest.ai
大语言模型

稀疏自编码器揭示:MoE 专家正在进行细粒度分工

一项针对 Qwen3-30B-A3B 的研究,用稀疏自编码器分析 MoE 层输出,发现专家真正贡献的语义特征比路由选择更集中。专家的职责并非停留在“代码”或“数学”等粗粒度领域,而是进一步分化为 Java、前端、几何、算术等更细的能力方向。

阅读全文