Metis-1.6：パラメータ数ではなく学習効率で挑む言語モデル

導入

大規模言語モデルの性能向上は、パラメータ数、データ量、計算資源を増やす方向に進んできました。Metis-1.6は、その前提を少しずらします。1人の研究者がゼロから訓練したこのプロジェクトは、最先端モデルとの正面対決ではなく、より少ない資源でどこまで推論能力と効率を両立できるかを検証するものです。成果だけでなく、うまくいかなかった設計も詳しく記録されています。

主なポイント

• 2つのモデル：Praxisは29.4億パラメータで、4-bit量子化時に約2 GBへ収まります。Logosは102.3億パラメータです。1回の通過で活性化されるパラメータは、それぞれ約4.6億と11.8億です。
• 各トークンを2度処理：構造の中心はMamba-2で、アテンションは3層のみです。Mixture-of-Expertsも組み込み、同じ20層を共有重みで2回通すことで、各トークンに「もう一度考える」機会を与えます。位置エンコーディングは使いません。
• 訓練データの内訳：各モデルは合計1.02兆トークンで訓練されました。内訳は事前学習8047.6億、コンテキスト拡張180億、教師あり微調整2000億です。コンテキスト長は131,072トークンまで拡張されています。
• 数学に強く、万能ではない：Logosは30のオープンモデルによる数学比較で2位となり、AIME 2025で67.50%、HMMT 2026年2月で63.64%を記録しました。一方、コード、指示追従、事実想起、長文脈では弱く、40の評価をまとめた平均は52.93、17モデル中7位でした。
• 効率が主要な成果：Logosの総合スコアはQwen3-4Bとおよそ1ポイント以内でしたが、比較対象の開示済み学習データ中央値の約12分の1で到達しました。さらに、Logosを上回ったモデルのどれよりも、トークン当たりの活性パラメータが少ないと報告されています。

失敗事例から分かること

この報告で特に価値があるのは、実験の失敗を隠していない点です。設定したオプティマイザーが実際には動作しておらず、事前学習中のアテンションはすべてAdamWで訓練されました。また、17.7億パラメータのハッシュ化n-gram記憶モジュールは、自らゲートを閉じて機能を止めるようになり、最終的に取り除かれました。5つの微調整上の選択が能力低下を招き、Logosへの強化学習は能力の幅を狭めたため、1.6では教師あり微調整で止められています。

これは、モデルの結果がアーキテクチャだけで決まらないことを示します。最適化設定、補助モジュールの相互作用、後訓練の方針が、同じ設計の性能を大きく左右し得ます。成功したスコアだけでなく失敗の条件も示すことで、再現可能なアイデアと偶然の結果を見分けやすくなります。

意義と限界

Metis-1.6は、小型モデルが最先端システムを置き換えたことを意味しません。コード、長文脈、一般的な指示追従の弱さは明確です。ただし、重みを共有した反復計算、疎な活性化、Mamba-2とアテンションの混合が、低コストなモデル設計の有力な候補になり得ることは示しています。

モデルはApache 2.0で公開され、MLX、FP8、NVFP4、GGUF版も用意されています。Dromos推論エンジンも提供されます。研究上の教訓は、性能だけでなく学習データ量と実際の活性計算量を同時に評価し、失敗した実験も結果の一部として報告することです。

出典：Hugging Face Daily Papers