推論・デプロイ

CRISPは、入力に応じて変化する疎な注意機構のために、注意マップを直接読む構造指標と、sinkを考慮した閾値を提案します。動的ルーティングの計算負荷と、長い文脈で増える背景ノイズの双方を抑えることが狙いです。

200以上の社内アプリケーションのトラフィックを、1つの自社運用モデルに集約するポストトレーニング手法が報告された。指示追従、関数呼び出し、社内タスク分布ごとにGRPO専門家を学習し、2段階SLERPで統合する。

NAVER AI Labは、投機的デコードの逐次検証を草稿モデルの学習に組み込むVerification-Aware Training（VAT）を提案した。モデル構造や推論手順を変更せず、受理されるトークン列の長さと実測速度の改善を狙う。

vLLM-Omniは、MiniMax H3をエンコーダーからMP4生成までのシステム全体として最適化した。さらにFastVideoのFastH3を組み合わせ、DiTの前向き計算を4回に削減することで、完全な応答を再生時間に近づけている。

複数のモデルとタスクを比較した研究で、アテンションシンクを備えたスライディングウィンドウ注意機構が、追加のポストトレーニングなしで、改造された線形注意機構と同等以上の性能を示しました。長文脈推論では差がさらに大きくなっています。

LLMの出力射影とTop-k選択を最大内積検索として捉え直し、HNSWベースのベクトルインデックスで候補トークンだけを取得する研究が示された。小バッチのCPU推論におけるメモリ帯域ボトルネックの緩和を狙う。

長文脈の実験では、モデルの重みとGPUが同じでも、注意機構のバックエンド、KVキャッシュ、量子化、マルチGPU通信が次のTokenを変えうることが示された。

TileMixは、融合された密な注意機構カーネルの中で、スコアタイルごとにFP16とINT8を使い分けます。トークン間の接続を削らず、長文脈プリフィルの精度とスループットの両立を目指します。

構造的圧縮と4ビット量子化を重ねると、推論や数学、コーディング、長文脈の性能が低下しやすい。Multiverse Computingは、元の非圧縮モデルから直接蒸留するQuantization-Aware Healing（QAH）を提案した。

Multiverse Computingは、構造圧縮と4ビット量子化を受けたモデルを、圧縮前の大規模モデルから直接蒸留するQAHを発表しました。GPT-OSSを使った実験では、60BのMXFP4モデルが9指標中7指標で同じ構成のBF16版を上回りました。

Daedalus-150M は、大規模モデルを縮小してから CPU に載せるのではなく、4bit重み・単一ユーザー・逐次デコードという運用条件から逆算して設計された小型言語モデルです。18ブロックのうち12ブロックを短い畳み込みに置き換え、長いコンテキストでの KV キャッシュ読み出しを抑えます。

ParaTempo は、各推論ブランチが時間とともにどれだけ答えの候補へ収束するかを測る、学習不要の非同期並列推論フレームワークです。信頼度に応じて枝刈りや早期終了、新しいブランチへの計算資源の再配分を行います。

Nexus は、MCP エージェントが毎ターンすべてのツールスキーマを再エンコードする問題を、検索ベースのルーティングによって切り離す。KV キャッシュの連結も試すが、RoPE の位置ずれが適用範囲を制限する。

Llama-Mobileは、限られたメモリと計算資源しか持たない端末向けに、視覚言語モデルを量子化するフレームワークを提案します。モデル自身が生成したデータとArm CPUでの実行を意識した2.7ビット形式により、Llama 3.2 11B Vision Instructを3.7 GBまで圧縮し、標準的な視覚質問応答で高い性能を維持しました。

vLLMの実践ガイドは、ROCm環境のAMD Instinct GPUで投機的デコーディングを使う方法を解説しています。ネイティブMTP、EAGLE-3、DFlash、DSparkを比較し、実際の効果は受理率とワークロードに左右されると説明します。

同じモデルの重みでも、GPU、量子化、推論ランタイム、注意機構のカーネルが違えば出力は変わり得ます。性能低下の原因はモデルではなく、推論スタックにあるのかもしれません。

FlashPrefill V2は、平均補正項とGPU向けの疎注意演算子、ページングKVキャッシュや連続バッチ処理への対応を組み合わせ、長文脈LLMのプリフィルを実運用に近づける。NVIDIA H20の128K文脈では、FP8でFlashAttention-2比最大47.26倍の高速化を報告している。

企業向け経費管理プラットフォームのRampが、複数の大規模言語モデルを1つのAPIから利用・切り替えできるAIモデルルーティングサービス「Router」を開始した。現時点では米国のみで提供され、2026年末まではルーティング料金が無料となる。

FreeTokenは、異なる構成の個人向けハードウェアで大規模なMixture-of-Expertsモデルを動かすためのエッジネイティブな推論基盤です。PCを単なる小型GPUではなく、CPUやGPU、メモリを統合して使うプラットフォームとして捉え直します。

DumpsterClusterの研究は、退役したGPUを組み合わせても大規模言語モデルの推論基盤を構築できることを示した。一方で、低い導入費用だけでは十分ではなく、電気料金と電力の炭素強度が採算性と環境性能を左右する。

セキュリティ研究記事は、スタートアップが使い切れない AI API クレジットを買い取り、割引価格で再販売する「token broker」の存在を追跡している。推論リソースが疑似通貨のように流通し始め、コスト削減の裏で安全性とコンプライアンスの課題が浮上している。