はじめに
Thinking MachinesがInkling 2 Miniを発表した当日、vLLMはNVIDIA Blackwell、Hopper、DGX Spark向けのサポートを公開した。特徴はモデルの規模だけではない。中間層の一部を同じ重みで繰り返し実行し、各実行の間でゲート付きメッセージを受け渡すループ構造を持つ。推論時には複数パスの計算とキャッシュを扱う必要があり、通常の一方向の層実行とは異なる対応が求められる。
主なポイント
- 中間層を3パス実行。 全24層のうち、最初の6層が前段、最後の6層が後段で、中央の12層が3回動く。各パスは重みを共有する一方、KVキャッシュと畳み込み状態は個別に保持する。後続パスは前段の出力を起点とし、直前のパスから読み取るメッセージを、学習済み制御器で各サブレイヤーの入力に反映する。
- マルチモーダルMoEとDSpark。 総パラメーター数は260億、アクティブ数は35億で、最大100万トークンのコンテキストに対応する。ビジョンエンコーダーとネイティブのDSpark投機デコーダーも備える。vLLMはInkling 2 Smallの融合カーネルを再利用し、メッセージ読み出し、制御器の計算、ゲート付き合成や正規化を融合して、ループによる処理負担を抑える。
- 研究版ではループ数を指定可能。 TML-d24-varloop-researchでは、起動時にパス数を設定し、パス間でKVキャッシュを共有するか選べる。パスを減らすと高速になり、増やすと品質向上が見込める一方、共有キャッシュでは後続パスが同じトークンのキャッシュを上書きする。畳み込み状態は共有されない。固定ループ版ではこの設定は使えず、DSparkの利用にも既定のパス数が必要となる。
性能と意味
vLLMが示した測定は、GB200 1基、TP1、コンテキスト長4Kでの前向き計算のみだ。1パスの場合、バッチ1のデコード1ステップは1.51ミリ秒、バッチ32では3.81ミリ秒。3パスではそれぞれ3.85ミリ秒と8.11ミリ秒だった。KVキャッシュ容量は1パスの35.2万トークンから3パスの17.5万トークンに減少し、3パスで共有キャッシュを使う場合は19.4万トークンとなった。特定条件の測定値であり、別の環境にそのまま当てはめることはできない。
数値精度についてvLLMは、参照実装と同じデータ型、量子化、FP32でのメッセージ合成を維持し、主な差は演算の集約順にあると説明する。同じ入力に対するMoE出力はビット単位で一致したという。評価には最大100万トークンのneedle-in-a-haystack、MMMU-Pro、HLE、GSM8Kが含まれる。今回の実装が示すのは、ループ型モデルを通常のキャッシュ層として管理し、カーネル融合で追加処理を抑える方法だ。実運用ではタスクに応じてパス数とキャッシュ容量を選ぶ必要がある。SkyRLを使った強化学習向けサービングにも対応する。
出典:vLLM Blog
コメント
ログイン状態を確認中…
コメントを読み込み中…