推論・デプロイ

DoSAは、候補の完全なスコア計算を行う前に、Top-Kに入れない候補を上界で除外する手法です。最終的なトークン選択を正確に保ったまま、Indexerの計算を削減します。

Elastic Latent Recurrence（ELR）は、同じ言語モデルを少ないループでは低遅延で、多いループでは高品質に動かすための訓練手法です。従来の循環型モデルにあった「1ループ時の性能ペナルティ」の解消を目指します。

vLLMはPrefill-Decode分離構成に双方向KV転送を追加し、後続ターンでPrefillノードがDecodeノードに残るコンテキストを再利用できるようにした。報告された長い多ターン処理では、TTFTが最大3.3倍改善した。

VLAの高速化は、平均レイテンシーや成功率だけでは評価しきれません。CAREは、元の方策なら成功したエピソードを高速化によって失うリスクを測定し、条件を満たす最速の手法を選びます。

TokenRouterは、生成中のトークンごとにモデルを切り替えるLLMルーティング向けのサービングシステムです。非同期のモデル別サーバーと遅延バッチ処理により、実行ステップのずれやバッチ投入の遅延に対応します。

SparseDecodingは、自然文で作成した校正データと実際の生成時の分布が異なる問題に着目する。生成中の活性値を使った枝刈りとN:M疎行列ベクトル積カーネルにより、A100上で最大1.48倍のエンドツーエンド解码高速化を報告した。

SparseEngine は、異なる KV キャッシュ方式を長文脈 LLM エージェントの推論基盤に組み込みやすくするための、疎性優先の推論エンジンです。論文では、スループットやデコード速度の向上に加え、リクエストをまたいだキャッシュ状態の管理を示しています。

PersonTTSは、テスト時スケーリングを単一の精度・効率の最適化ではなく、ユーザーごとの制約に合う実行可能な制御器を発見する問題として捉える。過去のユーザー向け探索経験を再利用し、新しい要求プロファイルへの適応を効率化する。

DLoopは、ドラフトモデルが高い確信度を維持している間、複数のドラフト段階を連続して実行し、候補トークンをまとめて検証する手法です。対象モデルの前向き計算を減らし、複数の推測デコーディング方式で5〜41%のウォールクロック高速化を報告しています。

SlimWiseは、MoE推論のプリフィルでは完全なモデルを使い、デコード時だけ専門家プールを剪定する方式を提案します。完全モデルが生成したKVキャッシュをそのまま再利用し、Qwen3.6-35B-A3Bでは専門家を50%削減した条件でデコードスループットが最大1.81倍になりました。

RouteFMは、LLMルーティングを環境ごとの再学習ではなく、再利用可能な基盤能力として捉える。匿名の候補モデルを少量の行動データから評価し、異なるタスクやモデルプールへ適応する。

PyTorchはHelionをvLLMのlinear backendに統合し、高水準のカーネルDSLと形状別自動チューニングで、量子化GEMMの実装を簡素化する可能性を検証しました。NVIDIA Hopperでは、評価対象の一部ワークロードで10%超のスループット向上が確認されています。

MassAlloc Attention（MALA）は、合法な因果関係のQKスコアをすべて参照しながら、正規化された注意量に基づいて低寄与領域の後段計算を削減する。FullAttnに近い精度を保ちつつ、長文脈での計算を適応的に減らす手法だ。

ループ型言語モデルは同じ重み共有ブロックを繰り返し適用して有効深度を高める一方、生成時には再帰ブロックの逐次呼び出しが遅延要因になります。Wavefront Decodingは中間状態をドラフト予測に利用し、異なる位置と再帰深度の処理を波面状にまとめて実行します。

KAIST AIの研究は、自己反省を長く続けても、小型推論モデルが到達できる解の範囲は必ずしも広がらないことを示した。FlyByは、知識不足を検出した場合だけ強力なモデルに問い合わせる。

Disaggregated Quantization（DQ）は、LLM推論のPrefillとDecodeに異なる量子化方式、重み、保存場所を割り当てる手法です。低ビット推論の効率を維持しながら、長いプロンプトの処理速度と生成精度の改善を狙います。

HybridInferは、実際のAndroid端末で端末内・エッジ・クラウドのLLMを動的に振り分ける強化学習ルーターです。モバイル推論の問題は単なる速度低下ではなく、連続生成による実行環境の不安定化にも及ぶと指摘します。

RAZORは、MoEモデルの専門家を追加学習なしで削減する手法です。利用頻度や出力の大きさだけでなく、残った専門家が削除対象の機能を代替できるかを評価します。

新しいarXiv論文は、損失を許容する推測デコーディングを形式化し、ターゲットモデルとの分布差を適切に管理すれば、速度向上だけでなく品質改善も起こり得る理由を分析した。解析にはブースティングとfダイバージェンスが用いられている。

オープンソースのColibrìは、MoEモデルの専門家重みをNVMe SSDに置き、必要なものだけをRAMやVRAMへ読み込む推論フレームワークです。必要メモリは下げられますが、SSDの速度が推論性能を大きく左右します。

Inferactのテストでは、16基のTPU v7 IronwoodがKimi K3で毎秒709トークンを達成し、同数のGB200を57％上回りました。主な要因は、TPU向けに最適化したMegakernelとDSpark推測デコードです。