LightningMoBA:让稀疏注意力选得更灵活、算得更高效
LightningMoBA 针对 MoBA 与 FlashMoBA 的固定 Top-k 路由和 KV 重复读取问题,联合优化块选择与 GPU 执行。在论文测试中,它提升了生成速度,RULER 平均分也有所上升。
阅读全文LightningMoBA 针对 MoBA 与 FlashMoBA 的固定 Top-k 路由和 KV 重复读取问题,联合优化块选择与 GPU 执行。在论文测试中,它提升了生成速度,RULER 平均分也有所上升。
阅读全文Inkling 2 Mini 将中间层重复运行三轮,并为每轮保留独立缓存;vLLM 在模型发布首日支持其推理与投机解码。文章也介绍了可调循环次数的研究检查点及其性能取舍。
阅读全文TIDEWAY 面向显存和内存受限的消费级设备,将主机内存与 GPU 显存作为协同资源管理,并针对预填充、解码阶段调整内存布局。论文报告称,相较最快基线,其端到端延迟平均降低约一半。
阅读全文HDM提出“零或T”推理范式:模型要么用一次前向计算直接作答,要么在确有收益时执行完整的自回归推理。研究显示,这种路由机制有望在保持准确率的同时显著降低延迟与Token成本。
阅读全文一项研究发现,System 1 决策所需的信息主要集中在模型中间层,完整运行所有层并非总有必要。NESTONE 通过共享层、自蒸馏和轻量级门控,让同一个模型根据任务难度动态决定计算量。
阅读全文Evolving Infra 面向智能体应用中的动态推理需求,运行时调整 Prefill-Decode 资源分配,并结合智能体上下文管理优化 KV Cache。论文在多类任务和最多 256 张 GB300 GPU 上进行了评估。
阅读全文一项针对 Qwen3-0.6B 的研究探索了按 token 动态提升权重精度:大多数步骤使用 4 bit,只有在输出分布显示不确定时才回读 8 bit。结果显示门控器能较好预测低精度与高精度之间的结果分歧,但目前尚未证明它能在相同成本下稳定提升最终任务准确率。
阅读全文PISA与PISA-E尝试让大语言模型路由从“每次只选一个模型”走向按提示词动态选择模型组合。实验显示,PISA-E在追求质量时取得了评测集成方法中的最佳平均任务表现,并在部分成本档位保持更高性价比。
阅读全文RidgeFill 通过一次校准数据拟合出的岭回归映射,预测模型后部层的输入,从而减少长提示词 Prefill 阶段的计算。实验显示,它在保留部分敏感 token 完整计算的情况下,可在不同模型和推理框架上获得 1.25 至 1.60 倍的首 token 延迟加速。
阅读全文PyTorch团队展示了在一台配备四颗TPU v7芯片的主机上服务Meta Muse Spark Open的方法。关键并非单一算子优化,而是用覆盖62层的Megakernel统一计算、通信与缓存访问。
阅读全文NVIDIA 研究团队提出 AutoCompress,将目标 GPU、服务引擎和实际工作负载纳入可微架构搜索,自动生成满足延迟、吞吐与显存约束的异构模型。与 Minitron 相比,该方法在三类部署场景中取得更高的平均准确率。
阅读全文一项基于 vLLM 的研究发现,客户端取消请求并不足以让经历瞬时过载的大模型服务恢复。真正影响恢复速度的,是重试请求已经制造的执行,以及客户端最终是否收到响应。
阅读全文开源项目 llama-modchip 通过极低比特量化、CPU内核优化和运行时工具,宣称可在无GPU条件下运行284B参数的DeepSeek-V4-Flash。其方案更像一次面向极限内存约束的工程实验,实际效果仍需独立复现。
阅读全文vLLM已将CUDA构建及编译依赖迁移至LibTorch Stable ABI,并从v0.33.0起发布相应CUDA wheel。此举可让兼容范围内的PyTorch升级直接替换torch wheel,减少vLLM重建需求。
阅读全文一项发表于 Hugging Face Daily Papers 的研究提出 SIMPLE 能耗模型,用模型架构和输入输出长度预测 LLM 推理能耗。研究显示,KV Cache、GQA 分组方式与推理长度会显著改变每个 Token 的真实成本。
阅读全文Route Anything 研究如何在不同模型、工具和策略之间动态路由,以平衡任务质量与推理成本。论文基于覆盖多模态与具身任务的大规模评测,显示路由有望成为构建通用 AI 系统的重要基础设施。
阅读全文SpecPilot 将成本模型、并行智能体搜索和严格一致性校验结合起来,针对不同部署环境自动发现推测解码优化方案。在多个模型、草稿器、GPU 平台和基准上,它将单请求场景相对自回归解码的加速比从 4.46 倍提升至 10.87 倍。
阅读全文一篇新研究提出,提升AGI效率不一定只靠更大的模型和更多推理算力,也可以让轻量级System-1先筛选值得执行的交互。研究将这种协作概括为“预测—门控—执行—更新”循环,并提出用有用交互密度衡量扩展效率。
阅读全文一项新研究指出,标准多Token预测训练中的梯度包含大量低信噪比残差,可能同时干扰下一Token和多Token学习。研究者提出Soft-MTP,通过直通式梯度路由仅保留有益的KL自蒸馏信号,在不增加参数和可测开销的情况下改进MTP。
阅读全文