Qwen3.8-Nextの設計を読む：効率・性能・学習安定性の同時最適化

導入

大規模言語モデルの設計では、パラメータ数を増やすだけでは十分ではありません。Qwen3.8-Flash-Nextの設計論文は、性能を保ちながら計算量を抑え、さらに学習を安定させるには何が必要かを、複数の観点から検証しています。

主な設計

• スパースな容量利用。 モデル全体は1250億パラメータですが、1トークンあたりに活性化されるのは約60億パラメータです。さらに510億パラメータのn-gram埋め込みテーブルをアクセラレーター外に置き、ホストメモリから先読みします。容量を確保しながら、主幹ネットワークが常時すべてのパラメータを保持する必要を減らす考え方です。
• 層ごとのtoken mixing。 事前学習ではGated DeltaNet（GDN）とグローバル注意を組み合わせ、4層に1層の割合で完全注意層を配置します。継続事前学習では、この完全注意層をQwen Sparse Attention（QSA）に置き換えます。QSAは圧縮された軽量インデクサーで文脈をマイクロブロック単位に評価し、広い文脈へのアクセスコストを抑えます。
• 4分岐のゲート付き残差。 残差ストリームを4つの分岐に広げ、要素単位のゲートで読み出します。Gated Residual（GR）は、単純に層やパラメータを増やすのではなく、情報経路を制御しながら表現力を拡張する設計です。
• lossだけで判断しない。 各変更は、学習lossと下流ベンチマーク、学習・prefill・decodeのコスト、最適ハイパーパラメータと安定性への影響という3軸で評価されます。n-gram語彙を増やすとlossは単調に下がる一方、下流精度は飽和します。学習指標の改善が、そのまま実タスクの改善を意味しない点が重要です。

意義

14の事前学習ベンチマークでは、8項目で397B-A17Bの前世代モデルを上回り、残りでも差は最大2.6ポイントにとどまります。しかも活性化パラメータと学習トークンは約3分の1、学習FLOPsはおよそ9分の1です。これは単一の機構による成果というより、スパースMoE、混合token mixing、外部埋め込み、ゲート付き残差を組み合わせた設計上の折衷と見るべきでしょう。

また、Muonオプティマイザーとの組み合わせにより、適切な学習率とバッチサイズは高い方向へ移り、バッチサイズのウォームアップも不要になったと報告されています。ストレステストでの安定性も改善しました。つまり、アーキテクチャ変更は最終性能だけでなく、最適化の条件そのものを変えます。

この研究の大きな示唆は、効率をパラメータ数だけで語らないことです。性能、loss、学習コスト、prefill・decodeコスト、調整の難しさを同じ表で比較することが、今後の大規模モデル設計では重要になります。

出典：Hugging Face Daily Papers