疎なオートエンコーダーが明らかにするMoE専門家の細かな分業

導入

Mixture-of-Experts（MoE）モデルは、入力トークンごとに多数の専門家の一部だけを選び、計算量を抑えながらモデル容量を拡大します。しかし、ある専門家が実際に何を担当しているのかは、単純なルーティング統計だけでは分かりません。コードや数学などのラベル付きデータで選択回数を数える方法は、分類をあらかじめ固定し、専門家が「選ばれた」ことしか測れないためです。

新しい研究は、MoE層の出力を疎なオートエンコーダー（SAE）で分析し、ルーティングではなく特徴への寄与から専門家の役割を調べました。

専門家の寄与を特徴空間で分解

対象はQwen3-30B-A3Bの第4、30、46層です。各層のMoE出力に対して、2^20個の潜在特徴を持つTopK SAEを学習し、各入力では上位100個の特徴を扱いました。分析対象は約15億トークンです。

MoE層の出力は、ルーターの重みを付けた複数専門家の出力の合計です。SAEのエンコーダーがアフィン変換であるため、各潜在特徴の活性化前の値は専門家ごとに正確に分解できます。研究者はこの分解をコーパス全体で集計し、各特徴を主に駆動する専門家を特定しました。こうして、専門家ごとに「支配的な潜在特徴の集合」を作ります。

この方法では、最初から「コード」「数学」などの分類を与える必要がありません。モデルが学習した特徴構造そのものから、専門家の境界を探れます。

主な発見

• 寄与はゲーティングより集中している。 ある専門家が選ばれた回数は、最終的な表現に対する影響の大きさと一致しない場合があります。寄与を分析すると、実際の主導権はより少数の専門家に集中していました。
• 多くの特徴は1～2人の専門家が主導する。 大半の潜在特徴は、多数の専門家が平均的に作るのではなく、限られた専門家によって主に駆動されます。専門家同士の主導特徴集合は概ね独立していますが、重複が目立つ組み合わせも一部に集中していました。
• 大分類の内部でも役割が分かれる。 特徴集合を自動解釈すると、コード分野の中でもJavaとフロントエンドWebコードに対応する専門家が分かれ、数学関連でも幾何、算術、多項式に関する別の傾向が確認されました。
• 専門家の配置は均等ではない。 第30層の128専門家をまとめると11の上位ドメインが得られましたが、その規模には大きな差があります。文字列の形式、言語、エンティティや識別子のように、従来の学問分野ではなく表現上のパターンに近いグループも含まれていました。

意義と限界

この研究は、MoEが単純に「1専門家＝1分野」として構成されているわけではないことを示唆します。専門家は、多数の細かな特徴を軸に異なる主導権を持ち、そこで分業を形成しているように見えます。これは、モデルの解釈可能性だけでなく、ルーター設計、専門家の剪定、部分的なモデル適応を考えるうえでも重要です。

一方、結果は3つの層におけるSAE分解と特徴集合の自動解釈に基づいています。したがって、観測された関連がそのまま因果的な機能を意味するわけではありません。より多くのモデルやデータで再現性を調べ、専門家を直接変更・除去する介入実験も必要です。

研究者は3つのSAE、コード、第30層の128専門家を閲覧できるインタラクティブツールを公開しています。

Hugging Face Daily Papers