推論・デプロイ

LiveAnimate は、姿勢駆動の人物アニメーションにおける「高品質だが遅い」という課題に正面から取り組む研究です。14B パラメータの動画 DiT を、長時間でも安定して動くストリーミング推論システムへと再設計しています。

UniMoMo は、学習済みの推薦向け MoE モデルを、より少ない専門家数の標準 MoE へ変換する後処理圧縮フレームワークです。重みの近さではなく、校正データ上での振る舞いとルーティング量を見て専門家を統合します。

vLLM の Decode Context Parallelism（DCP）は、KV キャッシュを注意ヘッドではなくシーケンス方向に分割する。長文脈エージェント負荷で顕在化する GPU メモリ不足を緩和し、高並行時のスループット改善を狙う仕組みだ。

GPTQ-2D は、残差の左側と右側の両方に基底行列が作用する、より一般的な適応的丸め問題を扱う。行列を単純にベクトル化する方法と同じ丸め結果を保ちながら、反対角線ごとの処理で計算量を3次時間に下げる。

この論文は、投機的デコーディングにおける有損検証が、推論効率を高める一方で生成分布を静かに変えてしまう可能性を分析している。速度向上は、品質安定性とのトレードオフとして捉える必要がある。

OmniScope は、音声と映像の関連度が同じタイミングで高まるとは限らない点に着目した、学習不要の Token 圧縮フレームワークです。クエリを共通の意味アンカーにしつつ、各モダリティの重要度を別々に推定します。

vLLMはPyTorch、oneDNN、KleidiAIなどのコミュニティと連携し、Arm Neoverseサーバー向けの推論スタックを改善した。対象は配布物、メモリアロケータ、同期処理、BF16密行列層、paged attentionまで広い。

Ai2 は Hugging Face Blog で、地球観測基盤モデルを実運用に乗せるための OlmoEarth Platform を紹介した。焦点はモデルそのものだけでなく、衛星データ処理と大規模推論のインフラにある。

vLLMとSpeculatorsは、P-EAGLE、DFlash、DSparkという3つの並列ドラフティング手法をオープンソースでサポートした。狙いは、候補トークンを逐次生成する構造的な制約を緩和し、LLMサービングの高速化と運用の簡素化を進めることにある。

vLLM は Kimi K3 の重み公開に合わせ、混合 KDA プレフィックスキャッシュ、DSpark 投機的デコード、分離型デプロイ、NVIDIA・AMD GPU 向け最適化を含む推論サポートを発表した。焦点はモデルを読み込むことではなく、巨大なハイブリッド MoE を実運用に近づけることにある。

Runwayは、画像・動画・音声生成モデルをリクエストごとに自動選択するMedia Routerを発表した。品質、速度、コストを軸にルーティングする仕組みで、生成メディア市場が単一モデル競争から基盤レイヤー競争へ移りつつあることを示している。

IBM Research は、Agent システムにおけるモデルルーティングを分類問題として扱うだけでは不十分だと指摘する。実運用では、コスト、品質、遅延、キャッシュ、インフラ、ガバナンスを同時に考える必要がある。

この arXiv 論文は、モデル圧縮と推論高速化を単なる手法選択ではなく、運用制約に基づく多目的なエンジニアリング判断として捉え直している。鍵となるのはデータ、遅延、メモリ、精度、再学習予算の五つの軸だ。

vLLMは、Thinking Machines Labの1Tパラメータ級マルチモーダルモデル TML Inkling にDay-0対応した。MTP、長文コンテキスト、MoE、並列化、キャッシュ管理まで踏み込んだ統合となっている。