Edge0、1450億パラメータのローカル実行向けモデルを公開

導入

高性能なAIモデルを端末で動かす場合、モデルを小さくすればメモリには収まる一方、複雑なコード作成や推論では性能が不足しやすい。大規模モデルをクラウドで使えば、料金、データ管理、通信環境への依存が生じる。Edge0はこの問題に対し、単純な圧縮ではなく、モデルと推論システムをローカル実行向けに設計する方針を示した。

主なポイント

• ノートPCを想定した大規模モデル：Edge0によれば、Edge0-145Bは互換性のある個人向けノートPCで動作し、ピークメモリは約29GB。入力処理は毎秒1100トークン超、生成は毎秒80トークン超、通常の消費電力は約120Wで、128Kから256Kのコンテキストに対応するとしている。実際の値は機種や設定に左右される。
• 疎なエキスパートと行列共有：総パラメータ数は1450億だが、1ステップで計算に参加するのは約100億。64個のエキスパートごとに大きな行列を共有し、各エキスパートには差分を表す小規模なパラメータだけを持たせることで、読み出すデータ量を抑える。
• メモリ階層を使った推論：GPUメモリ、システムメモリ、SSDをパイプライン化し、よく使うエキスパートはGPU側に保持する。CPUとGPUを並列利用し、投機的デコーディングも組み合わせて、重みの読み出しコストを複数トークンに分散する。
• 会話以外の作業を想定：公式の例には、コードの計画、作成、実行、デバッグに加え、3Dシーン、ゲーム、ハードウェアプログラム、PCB設計の結果を視覚的に確認する流れが含まれる。
• ベンチマークは条件付きで読む必要がある：DeepSWE 1.1、GPQA-Diamond、IFBench、Terminal-Bench 2.1、AA-LCRの数値が公開されているが、比較対象と評価条件は限定されている。これだけで総合的な優位性を判断することはできない。

意義と課題

報告値が独立に再現できれば、今回の価値は1450億という数字だけではない。アーキテクチャ、学習、重みの読み込み、実行時スケジューリングを一体として最適化し、クラウド向けモデルを後から小さくするのとは異なる道筋を示しているからだ。コードベースや設計データを外部サービスに送れない利用者にとって、ローカル推論は有力な選択肢になり得る。

一方で、必要なハードウェア、電力、ストレージ、保守コストが消えるわけではない。今回の材料はプロジェクト側の説明と内部テストを中心としているため、コミュニティによる再現性の確認が重要になる。対応機種、導入の難しさ、ライセンス、長時間タスクの安定性が、実用化を左右するだろう。

この発表は、端末AIの競争軸が「モデルを小さくする」だけでなく、疎な計算と複数のメモリ階層、異種プロセッサをどう協調させるかへ移りつつあることも示している。

出典：Hacker News