稀疏自编码器揭示：MoE 专家正在进行细粒度分工

导语

Mixture-of-Experts（MoE）模型会把不同 token 路由给少数专家，以较低计算成本扩展模型容量。但一个长期未完全解决的问题是：专家究竟“负责”什么？仅统计某个专家在代码、数学或自然语言数据中被调用的频率，往往只能得到粗略结论，因为这种方法依赖预先定义的领域标签，而且记录的是“被选中”，不一定等于“产生了主要贡献”。

一篇新研究提出了另一条路径：用稀疏自编码器（SAE）直接分析 MoE 层的输出特征，从贡献而非路由行为出发，观察专家之间更细致的分工。

方法：把专家贡献映射到特征空间

研究对象是 Qwen3-30B-A3B 的第 4、30 和 46 层。作者在 MoE 模块输出上训练 TopK SAE，每个 SAE 包含 2^20 个潜在特征，并保留每次输入中激活程度最高的 100 个特征。分析使用了约 15 亿个 token。

MoE 层的输出本质上是多个专家输出经过路由权重加权后的总和。由于 SAE 编码器是仿射变换，某个潜在特征的激活前值可以精确拆分到各个专家。研究者据此统计：对每个潜在特征，哪些专家在总体上贡献最大，并将这些特征归入相应专家的“主导特征集合”。

这一设计绕开了固定的领域分类，让模型自身的特征结构决定专家之间的边界。

核心发现

• 贡献比门控选择更集中。 一个专家被路由选中的频率，并不能完整反映它对最终表示的影响；在特征贡献层面，主导作用明显集中在更少的专家身上。
• 多数特征只有一两个主导专家。 这说明许多潜在特征并不是由大量专家共同平均产生，而是存在相对明确的责任归属。不同专家的主导特征集合大多保持独立，只有少数专家对之间有较明显重叠。
• 专家分工细于传统领域标签。 自动解释这些特征集合后，研究发现，同属代码领域的能力还会继续拆分，例如分别出现偏向 Java 和前端 Web 代码的专家；数学相关能力也能区分几何、算术与多项式等方向。
• 领域规模并不均衡。 对第 30 层的 128 个专家进行归组后，研究得到 11 个较高层次的领域，但不同领域包含的专家数量差异很大。其中一些类别甚至不是传统学科，而是文本形式、语言、实体与标识符等更接近表示结构的模式。

意义与边界

这项工作的价值不只是给专家贴上标签，更在于提供了一种分析 MoE 内部组织方式的工具。它表明，MoE 的专业化可能不是简单的“一个专家对应一个领域”，而是由许多细粒度特征组成，专家在这些特征上形成不同程度的主导关系。对模型压缩、专家路由优化和可解释性研究而言，区分“被路由”与“真正贡献”尤其重要。

不过，研究结论来自三个层的 SAE 分析和对特征集合的自动解释，不能直接等同于对专家功能的因果证明。未来还需要在更多模型、层和数据分布上验证这些分工是否稳定，以及改变或移除某个专家后，相关能力是否确实受到对应影响。

研究者同时公开了三个 SAE、代码，以及第 30 层全部 128 个专家的交互式浏览工具，为进一步检查 MoE 专业化提供了基础。

Hugging Face Daily Papers