llama-modchip、64GBメモリで284B級MoE推論を目指す

導入

大規模モデルの推論では、GPUメモリ容量と帯域幅が大きな制約になります。数百億から数千億パラメータのモデルになると、一般的なデスクトップでの実験は難しくなります。llama-modchip は、GPUではなくシステムRAMとCPUを中心に据え、疎なMixture-of-Experts（MoE）モデル向けに量子化、キャッシュ制御、実行時ツールを組み合わせるプロジェクトです。リポジトリの説明では、284.33BパラメータのDeepSeek-V4-Flashを、GPUなしの64GB環境で動作させられるとしています。

以下はプロジェクトの資料に基づく整理です。提示された情報には第三者による独立検証が含まれていないため、速度、メモリ使用量、品質に関する数値は確立したベンチマークではなく、プロジェクト側の報告として読む必要があります。

主なポイント

• 極端な圧縮。 DeepSeek-V4-Flash向けにFractal-64形式を用意し、モデルファイルを約56.56 GiB、実効1.71 bpwとしています。総パラメータ数は284.33B、アクティブパラメータは13.17Bと説明されています。
• CPU向けカーネル。 ggml/llama.cpp関連のカーネルを変更し、AVX-512、AVX2、一部ARM環境を対象に、レジスタと各キャッシュ階層を意識した分割処理を導入しています。低頻度の専門家重みがKVキャッシュを追い出すことも抑えようとしています。
• MoEでも計算は残る。 標準設定では、各層で6つのルーティング専門家と1つの共有専門家を評価します。Top-Kを下げて速度を上げる設定もありますが、品質とのトレードオフになります。
• 30B級にも対応。 Nemotron-3.5-30B-A3Bについて、14.35 GiB、3.75 bpwのモデルと、16コアZen 5で25.0〜60.4 tok/sというプロジェクト報告があります。CPUとGPUの混合構成や、多チャネルワークステーションも対象です。
• 一般的な実行環境ではない。 Fractal-64は独自のGGML型、型番号40と対応カーネルを使用します。そのため、変更されていないllama.cpp、Ollama、LM Studioでは読み込めません。スクリプト、事前ビルド済みバイナリ、Web UI、ベンチマークなどが提供されています。

意義と課題

結果が再現できるなら、この取り組みは大規模MoEの実行可能性がGPUのVRAMだけで決まらないことを示します。専門家の疎性、極低ビット量子化、CPUメモリ帯域を組み合わせれば、速度を犠牲にしても、高価なGPUを持たない利用者に別の選択肢を提供できます。KVスナップショットやコンテキスト復元機能は、単発チャットだけでなく、ツール呼び出しを伴うエージェント処理も意識した設計です。

一方、1.71 bpwという低い表現は、精度、安定性、タスクごとの劣化を慎重に確認する必要があります。資料には品質評価やツール呼び出し評価への言及がありますが、完全な比較条件、プロンプト、ハードウェアの測定方法、第三者結果は示されていません。導入時は、ピークメモリ、長文脈、スループットの定義、コーディングやツール利用時の品質を個別に測定すべきです。現時点では、llama-modchipはGPU推論を置き換える汎用基盤というより、意欲的なCPU推論実験と位置付けるのが妥当です。

出典：Hacker News