MAEP、モダリティ別の専門家削減でMoEマルチモーダルモデルを圧縮

概要

Mixture-of-Experts（MoE）は、各トークンに少数の専門家だけを割り当てることで、計算量を抑えながらモデル容量を拡大する仕組みです。しかし、実際に使う専門家が少なくても、すべての専門家の重みはメモリ上に保持する必要があります。マルチモーダル大規模言語モデルでは、専門家パラメータがモデル全体の90％超を占める場合があります。素材では、InternVL3.5-30B-A3BとQwen3-VL-30B-A3Bについて、BF16の専門家重みが約54GB、全体が約58GBと説明されています。

そのため、専門家を削減できれば単一GPUへの搭載可能性が高まります。一方で、画像理解と文章生成では同じ専門家が異なる役割を担う可能性があり、すべてのトークンを同じ方法で評価すると、どちらかの能力を損なうおそれがあります。

MAEPの考え方

MAEP（Modality-Aware Expert Pruning）は、視覚トークンとテキストトークンを分けて専門家の重要度を計算します。追加学習を行わず、1回のフォワードパスから情報を取得し、全レイヤーをまたいで専門家を順位付けする点が特徴です。

主な要素は次の通りです。

• Delta-H Output（ΔH）：ある専門家を除去したときにMoEの出力がどれだけ変わるかを測定します。ルーティング先の再分配による影響も考慮する、出力変化ベースの指標です。
• 低注意の視覚トークン：視覚側では、注意が低い視覚トークンを削減判断の信号として使います。素材によれば、異なるデータセットでも専門家の重要度ランキングが安定しています。
• 保護と削減の分離：テキスト側の重要度は言語能力を保つために使い、視覚側の重要度は削減候補を見つけるために使います。レイヤーごとではなく、全体で比較する設計です。

結果と意義

報告された実験は、3種類のMoEベースMLLMと、マルチモーダルおよびテキストのみのベンチマークを対象にしています。モダリティを区別しないベースラインに比べ、多くのマルチモーダル評価で優れ、テキストタスクでも競争力を維持しました。専門家をおよそ半分削減すると、BF16の専門家重みを約27GB、全メモリの約47％削減できます。その結果、約58GBの重み全体を1枚の40GB GPUに収められるとされています。

この研究の重要性は、マルチモーダルモデルの圧縮では、専門家を単なる交換可能な部品として扱えない可能性を示した点にあります。視覚とテキストで役割が異なるなら、削減基準もモダリティに合わせる必要があります。再学習不要であることは、既存モデルへの適用コストを下げる利点です。

ただし、提供された素材には詳細なスコア、推論速度への影響、削減率ごとの性能曲線は含まれていません。実運用での適用範囲を判断するには、論文本文でこれらの点を確認する必要があります。

Hugging Face Daily Papers