推論・デプロイ

Flash-dLLMは、拡散型大規模言語モデルの推論で問題となるKVキャッシュのメモリーI/Oを抑え、並列デコードを効率化する学習不要のフレームワークです。補助的なドラフトモデルを使わず、モデル自身による生成と検証を組み合わせます。

vLLMは最新ハードウェアでの最高性能を狙うフラットモデルを拡大する一方、旧世代GPUや外部アクセラレーター向けにハードウェア非依存レイヤーを導入します。H100では、3モデルの幾何平均で総トークンスループットがネイティブ実装から3.4%以内でした。

SiliconBenchは、Apple Silicon向けの9つのLLMサービングエンジンを速度、メモリ、出力忠実度の3軸で評価した。並列実行では、スループットだけでなくメモリ余裕、モデル対応範囲、通信方式が実用性を左右する。

vLLMは、GB300 NVL72上でQwen3.8-2.4TをPrefill-Decode分離方式で提供し、スループットから低遅延までの性能フロンティアを示しました。最終的な数値だけでなく、KVキャッシュと並列構成を調整する手順も説明しています。

智譜によると、GLM-5.3-Flashは自らを動かす推論基盤の最適化に関与し始めた。チームはこれを再帰的自己改善（RSI）の初期形態と説明する一方、完全なRSIではないとしている。

Fathomは、長文脈のKVキャッシュをホストメモリへオフロードした際に発生するインデックス走査のボトルネックに対応する手法です。クエリごとに各キー・チャネルの読み取りビット数を変え、転送量を抑えながら疎な注意機構の精度を保ちます。

Edge0は、次層で使う専門家を先に予測し、SSDからの読み出しと計算を重ね合わせることで、コンシューマー向け機器での大規模MoE推論を試みる。24GBのマシンで低いアクティブメモリ使用量と20 token/sを報告する一方、詳細な評価には確認すべき点が残る。

vLLMはSpeculatorsを拡張し、Kimi K3向けDSparkドラフトモデルの学習とデプロイに対応した。GB300 NVL72で、低遅延と高い同時実行スループットを検証している。

Novita AIは、Kimi K2.xの推論形状に合わせたW4A16 CUDAカーネル「Chord」をオープンソース化しました。特定のH200およびB300のテストではHummingを上回りましたが、数値はあくまでカーネル単位の測定です。

HyQuantは、大規模言語モデルの注意機構を対象にした混合精度量子化手法です。重要なトークンと直近の局所ウィンドウを高精度で保持し、それ以外のコンテキストを低ビット化することで、精度低下とメモリ使用量のバランスを図ります。

vLLMのTiered KV Cache Offloadingは、KVキャッシュをGPUメモリからホストRAM、ファイルシステム、オブジェクトストレージ、リモートノードへ拡張します。再計算の一部を再読み込みに置き換え、複数インスタンス間の共有も可能にします。

vLLMは、AMD Instinct MI355X上のMiniMax M3を継続的に高速化した過程を公開した。単一のカーネルに頼るのではなく、ローカル形状、重複計算、データ移動、ディスパッチ、待ち行列を順に確認する方法が中心となっている。

Unoは、自回帰型LLMに軽量な拡散経路を追加し、複数トークンを並列に下書きしてから元のARモデルで検証する。論文では、別のドラフトモデルを使わず、最大で約3倍の高速化を報告している。

vLLMはHiSparseをHybrid Memory Allocatorと既存のKVオフロード機構に組み合わせ、GPUに全KVキャッシュを置けない状況でもGLM 5.3のデコードを継続できるようにした。長文脈かつ高並列なエージェント処理が主な対象となる。

AgentXは、エージェント型アプリケーションの推論が単純な生成速度だけでは評価できないことを示している。vLLMは長いコンテキスト、多ターン処理、高いプレフィックス再利用に対応するため、KVキャッシュ、実行、スケジューリング、Prefill/Decode分離を横断して最適化する。

vLLMの新しいTT Pluginは、既存のOpenAI互換APIを維持したままTenstorrentアクセラレーターを利用可能にします。注目点は単なるバックエンド追加ではなく、Mesh実行、段階別スケジューリング、デバイス側サンプリングをコア外で実現したことです。

バークリー校とMITの研究者が、システムメモリとGPUの間でMoEの専門家重みを効率的に移動させるオープンソース推論エンジンFreeTokenを公開した。論文のベンチマークでは、RTX 4060搭載ノートPCでQwen3.6-35Bが毎秒約39トークンに達したとされる。

ハイブリッド27B言語モデルを用いた実験が、再帰型のGated DeltaNetを8ビット以上で保護するという従来の前提を見直した。全496個の線形層をNVFP4 W4A4で量子化しても、複数の評価でBF16に近い結果を保った。

Cerebrasの公開推論エンドポイントで、Qwen 3.8 27Bが利用可能になった。無料トライアルと従量課金の両方に対応し、文書では約1500 tokens/sの速度が示されている。

NVIDIAが、家庭内ネットワークにある対応PCを接続し、ローカルAI推論に活用するオープンソースソフトウェア「Personal AI Router（PAIR）」を公開した。名前に反して、物理的なルーターではない。

Declarative Attentionは、長いコンテキストのどの領域が必要かをモデル自身に宣言させ、KVキャッシュの読み出しを省く仕組みです。評価では大幅な読み出し削減が示された一方、精度には小さな低下が生じました。