FreeToken、コンシューマーGPU向けMoE推論を再設計

導入

大規模な混合専門家（MoE）モデルをローカルで実行する際、問題はGPUメモリの容量だけではない。疎なMoEは各トークンで一部の専門家だけを活性化するが、必要な重みはGPUメモリとシステムRAMに分散している場合がある。そのため、必要な重みをどのタイミングで移動させるかが、コンシューマーPCの性能を大きく左右する。

カリフォルニア大学バークリー校とマサチューセッツ工科大学の研究者は、この課題に取り組むオープンソース推論エンジンFreeTokenを公開した。個人用PCを小型のデータセンターとして扱うのではなく、異種計算資源を状況に応じて組み合わせるという発想が特徴だ。

静的オフロードから動的スケジューリングへ

従来のエッジ向けランタイムでは、CPUとGPUへの重み配置をあらかじめ固定することが多い。GPU上に必要な専門家がない場合、PCIe経由で重みを転送するまで処理が停止し、GPUが待機状態になる。ホストメモリの遅延や限られた帯域幅も、そのまま推論のボトルネックになる。

FreeTokenは、この方式をq*と呼ぶ動的な協調スケジューリングで置き換える。キャッシュミスが起きた際、現在の接続帯域をもとに、トークン処理をCPUコアとGPUのテンソルコアへ振り分ける。さらに、FTWという高速重み形式とレイヤー単位のダブルバッファリングを使い、重み転送と別のレイヤーの計算を重ねる。実行中にKVキャッシュと常駐専門家のためのGPUメモリ配分を調整できる点も含まれる。

エージェント向けの状態再利用

コーディングアシスタントや自律エージェントは、固定された文章を一度生成するだけではない。プロンプトを修正し、ツールの結果を挿入し、思考ブロックを追加するため、通常の線形KVキャッシュは広い範囲で無効化される可能性がある。

FreeTokenは、論理的なタスク境界に中間の注意状態やループ活性を保存する、意味的アンカーのチェックポイント機構を組み込む。ツール引数の変更や外部結果の挿入があっても、影響を受けない部分列を再利用し、入力全体の再計算を避けることを狙う。ただし、実際の効果はワークロードにどれだけ再利用可能な境界があるかに左右される。

ベンチマークの読み方

素材によれば、論文の評価では8GBのRTX 4060を搭載したノートPCでQwen3.6-35Bを実行し、毎秒約39トークンを記録した。また、RTX 5090搭載デスクトップで284BのDeepSeek-V4-Flash、単一のワークステーションGPUで753BのGLM-5.2も評価している。現在はLinuxとWindows上のNVIDIA RTX 30、40、50シリーズに対応し、CLIとデスクトップクライアントを提供する。

ただし、比較条件には注意が必要だ。Ollamaやllama.cppはGGUF量子化とレイヤー単位のオフロードを重視し、vLLMやSGLangは高帯域なデータセンター環境を主な前提とする。コミュニティでは、q*の閉形式計算がCPUスケジューリング遅延、メモリ競合、複数エージェント実行時の専門家常駐状況を十分に捉えられるかも議論されている。

意義

FreeTokenの意義は、単に特定のGPUで大きなモデルが動くと示すことではない。CPU、GPU、VRAM、システムメモリを一体として扱い、ローカル推論を資源協調の問題として捉え直した点にある。手法が幅広い条件で再現できれば、より入手しやすいハードウェアで大型MoEアプリケーションを動かし、クラウドAPIへの依存を減らせる可能性がある。

今後重要になるのは、公開された設定による再現実験、同一条件でのベースライン比較、長いコンテキストとエージェント並列実行での評価だ。現段階では、FreeTokenをコンシューマーPCであらゆる大規模MoEが実用化した証明ではなく、有望なスケジューリング手法として見るのが妥当だろう。

出典：InfoQ 中文