vLLM、GB300上でKimi K3のDSpark推論を最適化

導入

推測デコーディングの性能は、小さなモデルがどれだけ速く候補を作れるかだけでは決まらない。ターゲットモデルがその候補を一度に何トークン受理できるかが、実際の高速化を左右する。vLLMは今回、Speculators学習ライブラリをKimi K3向けに拡張し、GB300 NVL72のマルチノード環境でDSparkドラフトモデルを学習・デプロイした。

DSparkの仕組み

一般的な推測デコーディングでは、軽量なドラフトモデルが候補トークンを自己回帰的に生成し、大きなターゲットモデルがまとめて検証する。EAGLE-3は代表的な方式だが、長い候補列を作るには複数の逐次ステップが必要になる。DFlashは非因果的なバックボーンを1回実行し、ブロック全体を並列に予測することで、このコストを抑える。

一方、並列予測では各位置が直前のサンプル結果を十分に参照できない。そのため、序盤の誤りが後続部分を無効にする「サフィックス減衰」が起こりやすい。DSparkはDFlashの並列バックボーンを残し、次の機構を追加する。

• Markov logit-bias head：直前までに選ばれたトークンを使い、後続位置の確率を補正する。
• Confidence head：各候補がターゲットモデルに受理される可能性を推定する。
• ハードウェア対応スケジューラ：低負荷時は長い接頭辞を検証し、混雑時は信頼度の低い末尾を削る。

つまり、DFlashの並列性による低コストを維持しながら、自己回帰生成に近い局所的な整合性を一部取り戻す設計である。資料では、Qwen3ターゲットにおいてDFlashやEAGLE-3より長い受理列が報告されているが、結果はモデルや負荷に依存する。

Kimi K3での結果

公開されたKimi K3用スペキュレータは、5層・約50億パラメータで、1回のデコードステップに8トークンを提案する。9分野のマクロ平均受理長は4.11トークンだった。数学推論では6.42、HumanEvalでは4.96、翻訳では4.65トークンに達した。

長文脈でも効果が確認された。378Kトークンのプロンプトを用いたLongBench-v2では、1回のデコード反復あたり最大5.31トークンを出力できた。並行リクエストを1件から16件に増やすと、集約スループットは毎秒177トークンから683トークンへ上昇した。初回トークンまでの中央値は379ミリ秒から479ミリ秒への増加にとどまった。

数学推論では、単一ストリームの対話速度が約110から435トークン/秒になり、同等の対話性で出力スループットが最大約3.5倍になったと報告されている。ただし、実際の効果はバッチサイズ、文脈長、モデル構成、通信環境によって変わる。

意義

この取り組みの重要性は、アルゴリズムだけでなく運用経路にある。SpeculatorsはドラフトモデルをHugging Face互換形式でパッケージ化し、vLLMから直接読み込めるようにする。マルチノード並列、FP8 KVキャッシュ、プレフィックスキャッシュ、MLA向けバックエンドを組み合わせることで、推測デコーディングを実運用に近い条件で評価できる。

DSparkの評価では、ピーク時のtoken/sだけでなく、受理長、初回応答遅延、同時実行時の伸び、通信コスト、長文脈での安定性を同時に見る必要がある。今回の成果は、推論高速化がモデル単体ではなく、学習・スケジューリング・ハードウェアを含むシステム全体の問題であることを示している。

出典：vLLM Blog