vLLM、Kimi K3 の Day-0 推論サポートを公開

導入

Moonshot AI が Kimi K3 の重みを公開したタイミングで、vLLM は day-0 サービング対応を発表した。注目すべき点は、単に新しいオープンウェイトモデルを起動できることではない。2.8 兆パラメータ、最大 100 万 token のコンテキスト、ハイブリッド注意機構、MoE、ネイティブな視覚対応を備えたモデルを、実際に運用可能な推論エンジンへ落とし込んでいる点だ。

主要ポイント

• 巨大なハイブリッド MoE：Kimi K3 は 896 の専門家のうち token ごとに 16 を活性化する。Kimi Delta Attention、Attention Residuals、LatentMoE、MXFP4 重みを組み合わせており、推論側では専門家ルーティング、量子化重み、長文コンテキスト、マルチモーダル入力を同時に扱う必要がある。
• 混合キャッシュが要になる：Kimi K3 の多くの層は、成長し続ける KV キャッシュではなく固定サイズの再帰状態を持つ KDA を使う。一方で、正確なグローバルリコールのために周期的な full-attention 層も存在する。vLLM は同じスケジューラの下で、full-attention 用の paged KV ブロックと KDA 用の再帰状態ブロックを管理する。
• プレフィックスキャッシュを再設計：通常のプレフィックスキャッシュは token ごとの KV を前提にする。しかし KDA では token ごとに再帰状態と畳み込み状態が更新され、すべての境界に完全なスナップショットを保存するのは高コストだ。vLLM は物理的な KDA 状態ブロックと細粒度のプレフィックス照合を分離し、ブロック内に状態スナップショットを登録して、拡張前に再利用可能な状態をコピーする。
• DSpark 投機的デコードに対応：Inferact がオープンソース化した Kimi K3 向け DSpark speculator を vLLM で利用できる。素材によれば、16 基の NVIDIA GB300 NVL72 GPU 上で、投機的デコードなしの 118 tok/s から、DSpark 有効時には 370 tok/s へ向上し、約 3.14 倍の改善となる。
• 実運用向け機能も含む：prefill/decode 分離、Mooncake による agentic KV caching、ツール呼び出し、reasoning 出力、構造化出力をサポートする。NVIDIA Hopper、Blackwell、AMD MI355X にも対応するが、依存関係が複雑なため、現時点では Docker イメージ利用が前提とされている。

意味と影響

Kimi K3 は推論基盤に対して、単なる大規模化以上の課題を突きつける。長文コンテキスト、再帰的な線形注意、full-attention、疎な専門家計算、4-bit 重み、投機的デコードを同じ処理経路で成立させなければならないからだ。

そのため、vLLM の day-0 対応は、推論フレームワークがモデル構造を深く理解して最適化する時代に入ったことを示している。特に混合プレフィックスキャッシュは、標準的な KV キャッシュ中心の発想を、再帰状態を持つハイブリッド線形モデルへ拡張するものだ。vLLM はこの仕組みが Kimi K3 に限らず、類似モデルにも役立つとしている。

開発者にとっては、Kimi K3 を試すための実践的な入口が整ったことが短期的な利点となる。より大きな流れとしては、オープンウェイトモデルが長コンテキストや独自注意機構を採用するほど、推論フレームワークの競争軸は「対応モデル数」から「新しい構造をどれだけ早く効率的に提供できるか」へ移っていくだろう。

出典：vLLM Blog