Motif 3 技術報告: 長文脈と推論を狙う疎な MoE モデル

導入

Motif 3 の技術報告は、大規模モデルの能力向上を「より多く計算する」ことだけに頼らず、構造と学習手順で実現しようとする姿勢を示しています。疎な MoE、圧縮注意機構、安定化の工夫、そして多層の後学習を組み合わせ、推論、コーディング、長文脈処理を一体化したモデルを目指しています。

主要ポイント

• 巨大だが、毎トークンの計算は抑える: 総パラメータは 3140 億、ただしトークンごとに有効化されるのは 132 億です。
• 専門家を細かく使い分ける: 各疎 MoE 層には 384 のルーティング専門家があり、1 トークンあたり 8 つだけ選択します。
• GDLA が中心技術: Grouped Differential Latent Attention は、グループ化された差分注意と圧縮された key-value 表現を統合しています。
• 安定学習の工夫: modified manifold-constrained hyper-connections、Expert Specific PolyNorm、multi-token prediction などを取り入れています。
• 長文脈対応: selective MXFP8、メモリ効率の高い fused kernel、window-aware context parallelism により、最大 256K token の文脈長を扱います。
• 後学習は多教師型: 一般的な supervised fine-tuning に加え、RL で学習した 6 人の specialist teacher、SFT の software-engineering teacher、Multi-teacher On-Policy Distillation を組み合わせています。

意義

Motif 3 は、モデル性能の伸びが密なスケーリングだけではないことを示す例です。疎な MoE は、計算コストを抑えながら容量を増やせるため、長文脈やエージェント的なタスクに相性が良いと考えられます。

また、複数教師を使って能力を統合する後学習の設計も重要です。単一の評価軸だけを最適化するのではなく、推論、コード、ツール使用、指示追従などの性質をまとめて扱おうとしています。この方向性は、今後の高性能モデルの学習設計に影響を与える可能性があります。

報告によれば、Motif 3 は広範な評価で競争力を示し、特に長いタスク、数学的推論、科学知識、幻覚に敏感な評価で注目されます。構造設計と学習設計を両輪にしたアプローチとして、今後のベンチマークでも注目されるでしょう。

出典: Hugging Face Daily Papers