オープンソースのStrata、1250億パラメータモデルを個人PCで実行

概要

大規模言語モデルはこれまで、主にクラウド上のサーバーで利用するものと考えられてきた。オープンソースのStrataは、その前提を少し変えようとしている。WindowsまたはLinuxを搭載した個人向けPCで、約1250億パラメータのQwen3.8-Flash-Nextを動かすため、モデル、推論エンジン、セットアップ手順、互換APIをまとめて提供するプロジェクトだ。12GB以上のVRAMがあれば対象になり、入力した文章やコードを外部サービスへ送らずに処理できる。

ただし、見出しにある「毎秒100トークン」は、あらゆるPCで保証される数字ではない。公開資料の測定値は、GPU、システムRAM、量子化方式、コンテキスト長によって大きく変化する。

主なポイント

• ゲーミングGPUを想定：対応対象には一部のNVIDIA RTX 20～50シリーズやAMD Radeonが含まれる。目安はVRAM 12GB以上、システムRAM 32GB以上で、64GBあればインストーラーが提示する主要なモデル構成を選びやすい。
• 量子化で速度と品質を調整：64GB RAMとRTX 5070の構成では、Q2_0が毎秒約94トークン、IQ3_Sが約53トークンと報告されている。RX 9070 XTではそれぞれ約60、約44トークンだった。圧縮率を高めるほど速くなる傾向があるが、能力とのトレードオフになる。
• チャット以外にも利用可能：ブラウザー上のチャット画面、動作モニター、画像入力に加え、OpenAI互換エンドポイントを備える。コードエージェントや他のアプリに接続でき、通常は1リクエストずつ処理するが、並列数も設定できる。
• システムRAMの役割が大きい：初回起動では約35～55GBのデータを読み込み、1～3分ほどPCが重くなる場合がある。モデルのダウンロード容量は約70GBで、SSDの利用が推奨される。
• RAM容量で選択肢が変わる：32GBならコード向けのCoder、48GB前後ならIQ2_XS、64GBならIQ3_XXSやIQ3_Sが候補になる。より高品質な構成では、さらに多くのRAMやSSDアクセスが必要になる。

意義と限界

Strataの意義は、すべてのユーザーをサーバー級の性能にすることではない。低ビット量子化によってモデルをVRAMとシステムRAMに分散し、必要ならSSDも使うことで、巨大モデルを個人環境に持ち込む現実的な方法を示している点にある。コードエージェント、オフラインの文書処理、機密データを扱う用途では、クラウドAPIへの依存を減らせる可能性がある。

一方、ローカル実行にもコストはある。ダウンロード容量が大きく、初回ロードは大量のメモリを消費する。長いコンテキストを最初に読み込む処理にも時間がかかる。性能の低いPCでは強く圧縮したモデルを選ぶ必要があり、AMD GPUでの画像入力はWindows上で制限がある。複数GPUや古いカードへの対応も実験的だ。導入前にはVRAM、RAM、ドライバー、空き容量を確認し、公開速度は特定環境での参考値として見るべきだろう。

Strataは、モデルと実行環境を一体化した開発者向けのローカル推論基盤といえる。メモリ容量と量子化技術が進歩すれば、コードエージェントやプライベートなAI処理が、クラウドから個人ワークステーションへ移る流れを後押しする可能性がある。

Hacker News