MAEP：按模态裁剪 MoE 多模态模型专家，约58GB权重可放入40GB GPU

导语

Mixture-of-Experts（MoE）通过让每个 token 只激活少量专家，在扩大模型容量的同时控制计算量。不过，对多模态大语言模型而言，计算稀疏并不等于存储开销低：专家参数往往占模型总规模的九成以上。以材料提到的 InternVL3.5-30B-A3B 和 Qwen3-VL-30B-A3B 为例，BF16 专家权重约占 54GB，而模型整体约为 58GB。如何在不明显损害视觉理解和语言能力的情况下移除部分专家，成为部署这类模型的关键问题。

核心方法：不要把所有 token 一视同仁

现有专家裁剪方法通常汇总所有 token 的重要性，再据此决定保留或删除哪些专家。但同一个专家可能在图像处理和文本生成中承担不同职责。若使用统一指标，视觉能力可能被语言 token 的统计特征掩盖，或者反过来影响文本任务。

MAEP（Modality-Aware Expert Pruning）的做法是，在一次前向过程中分别统计视觉侧和文本侧的专家重要性，并在所有层之间进行全局排序。其主要设计包括：

• ΔH Output：通过估计移除某个专家后 MoE 输出的变化，衡量该专家的实际影响，同时考虑路由重新分配带来的变化，而不只是观察单一门控分数。
• 低注意力视觉 token：将注意力较低的视觉 token 用作视觉侧信号。论文认为，这类 token 得出的专家重要性排序在不同数据集之间较稳定，因此适合作为裁剪依据。
• 差异化目标：文本侧重要性用于保护语言能力，视觉侧重要性则用于识别更适合删除的专家。最终专家不局限于单层内比较，而是跨层统一排名。

实验结果与实际意义

材料显示，MAEP 在三种基于 MoE 的多模态大模型以及多模态、纯文本基准上进行了测试。相较于不区分模态的基线，它在多数多模态基准上取得更好结果，同时在文本任务上保持竞争力。裁剪约一半专家后，BF16 专家权重可减少约 27GB，约相当于整体内存的 47%；一个约 58GB 的模型权重因此能够放入单张 40GB GPU。

这项工作的价值不只是“删掉更多参数”。它指出，多模态模型的压缩策略需要理解不同模态对专家的使用差异，而不是把专家视作只承担一种统一功能的组件。由于 MAEP 不需要再训练，部署方可以在已有模型基础上执行评估和裁剪，降低适配成本。不过，素材未提供完整的任务分数、裁剪后推理速度变化，以及不同裁剪比例下的性能曲线，因此其适用边界仍需结合论文全文和具体模型进一步判断。

Hugging Face Daily Papers