推論・デプロイ

IBM Research は、Agent システムにおけるモデルルーティングを分類問題として扱うだけでは不十分だと指摘する。実運用では、コスト、品質、遅延、キャッシュ、インフラ、ガバナンスを同時に考える必要がある。

この arXiv 論文は、モデル圧縮と推論高速化を単なる手法選択ではなく、運用制約に基づく多目的なエンジニアリング判断として捉え直している。鍵となるのはデータ、遅延、メモリ、精度、再学習予算の五つの軸だ。

vLLMは、Thinking Machines Labの1Tパラメータ級マルチモーダルモデル TML Inkling にDay-0対応した。MTP、長文コンテキスト、MoE、並列化、キャッシュ管理まで踏み込んだ統合となっている。