記事一覧へ戻る
大規模言語モデル

Loop Scaling Laws、循環型MoEの拡張則を統合

読了目安 3 分

導入

大規模言語モデルの拡張は、固有パラメータを増やすことだけではありません。循環型Transformerは同じパラメータを複数回利用し、保存するパラメータ数を大きく増やさずに計算の深さを高めます。一方、Mixture-of-Experts(MoE)はトークンごとに一部の専門家だけを選ぶことで、アクティブな計算量を抑えながら総容量を拡大します。

これまでのスケーリング則は、循環と疎性を別々に扱うことが一般的でした。そのため、MoEに循環を加えたとき、何回ループさせるべきか、また疎性がループの価値をどのように変えるのかは明確ではありませんでした。

Metaの研究チームは論文「Scaling Laws for Looped Mixture of Experts」で、循環、疎性、モデル規模、データ量を統合的に扱うLoop Scaling Lawsを提案しています。

主なポイント

  • 循環と疎性を一つの枠組みで扱う。 循環は計算深度を、MoEの疎性は総パラメータ容量を主に増やすという違いを同時にモデル化します。
  • ループ数ではなく実効容量を見る。 疎性に条件づけられた有界の循環写像により、循環がもたらす実質的な容量増加と、効果が飽和する過程を表します。
  • 既存の拡張則と接続する。 特定の条件では、通常の密モデルおよびMoEのスケーリング則を特殊例として再現します。
  • 制約下の設計に使える。 学習計算量やメモリ上限を前提に、モデル規模、疎性、循環回数を選ぶための基盤になります。
  • 異なる効率軸が補完し合う。 概要によれば、疎性はアクティブパラメータ効率で約3倍、循環は推論タスクの総パラメータ効率で約2倍の効果を示し、組み合わせると性能フロンティアをさらに押し上げました。

意義と影響

この研究の重要性は、新しい式を提示したことだけではありません。モデルの「容量」と「深さ」を同じ設計空間で考えられるようにした点にあります。専門家数を増やすMoEは総容量を広げますが、各トークンで全パラメータを計算するわけではありません。循環は同じブロックを繰り返し実行することで深い計算を可能にしますが、ループを増やせば無限に改善するとは限りません。飽和を含む拡張則は、経験だけに頼らない構成選択に役立ちます。

概要では、1兆トークン規模の学習でも効果が確認されたとされています。学習計算量をそろえた場合、法則から選んだ循環を備えるMoEが、総パラメータ数で約2倍の非循環MoEに近い推論ベンチマーク性能を示したという報告です。また、推論時に追加のループを実行することで、テスト時スケーリングにもつながります。

ただし、これらは報告された条件での結果であり、すべてのモデルに同じ倍率が保証されるわけではありません。タスク、ルーティング、ハードウェア利用率、最適化の安定性などが実際の効果を左右します。それでも、パラメータ数だけでなく、アクティブ計算量、反復深度、推論時予算を一体で配分する方向性を示す研究だと言えます。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
LLMの重みを0.05%未満削除するだけで後学習が可能に
大規模言語モデル
cctest.ai
大規模言語モデル

LLMの重みを0.05%未満削除するだけで後学習が可能に

新たな研究は、事前学習済みLLMの重みを0.05%未満ゼロ化するだけで、複数の後学習設定において全量ファインチューニングに匹敵する性能を得られると報告しました。更新データを大幅に小さくし、既存能力の忘却も抑えられる点が特徴です。

続きを読む
CCTest · Blog
疎なオートエンコーダーが明らかにするMoE専門家の細かな分業
大規模言語モデル
cctest.ai
大規模言語モデル

疎なオートエンコーダーが明らかにするMoE専門家の細かな分業

Qwen3-30B-A3Bを対象に、MoEの各専門家が実際にどの特徴へ寄与しているかを疎なオートエンコーダーで分析した研究が発表されました。専門家の役割は「コード」や「数学」といった大分類より細かく、Java、フロントエンド、幾何、算術などに分かれていました。

続きを読む
CCTest · Blog
ほぼゼロのトークン埋め込みがゲート型モデルの学習を止める理由
大規模言語モデル
cctest.ai
大規模言語モデル

ほぼゼロのトークン埋め込みがゲート型モデルの学習を止める理由

希少トークンの入力埋め込みがほぼゼロになると、ゲート型系列モデルで勾配が極端に増幅され、学習更新が黙って失われる可能性がある。研究は既存モデル向けのGroupClipと事前学習向けのGateFloorを提案した。

続きを読む