推理与部署

Hugging Face 上 IBM Research 的文章指出，模型路由在企业 Agent 中远比按任务难度分流复杂。真正有效的路由需要同时优化成本、质量、延迟、缓存和治理约束。

这篇 arXiv 论文将模型优化从“选算法”改写为“解约束”的工程问题。作者用数据、延迟、内存、精度与再训练预算五个维度，帮助团队在量化、剪枝、蒸馏、PEFT 与推理优化之间做取舍。

vLLM 宣布在 TML Inkling 发布首日即完成支持，覆盖 NVFP4 与 BF16 两个版本，并针对 1M 上下文、多模态输入和 MTP 推测解码做了大量优化。