vLLM如何为Qwen3.8-2.4T打造PD分离式推理方案
vLLM公布了Qwen3.8-2.4T在GB300 NVL72上的PD分离式服务调优结果,并展示了从高吞吐到低延迟的完整性能前沿。文章重点不只是最终数字,还拆解了KV缓存、显存预算和拓扑选择方法。
阅读全文Claude API 中转站避坑指南、检测原理与大模型 API 实测经验
共 2320 篇文章
RSS 订阅vLLM公布了Qwen3.8-2.4T在GB300 NVL72上的PD分离式服务调优结果,并展示了从高吞吐到低延迟的完整性能前沿。文章重点不只是最终数字,还拆解了KV缓存、显存预算和拓扑选择方法。
阅读全文ZCode端到端长程任务被指会打包上传项目完整.git历史,引发开发者对AI编程工具数据边界与代码隐私的关注。该事件也导致GLM-5.5版本延期。
阅读全文特朗普宣布有意任命一名“AI沙皇”,领导新的“AI部队”,但尚未公布具体时间表、组织架构或人选。与此同时,他强调政府不会阻碍人工智能产业发展,并为数据中心建设辩护。
阅读全文剪映近期推出剪映Hub与剪映助手,将脚本策划、素材生成、视频生成和多轨剪辑连接起来。对创作者而言,AI不再只是负责“生成第一版”,而是开始进入后续修改与成片环节。
阅读全文智谱披露,GLM-5.3-Flash 已开始参与推理基础设施的优化,这被团队视为递归自我改进(RSI)的早期形态。它尚未达到完整 RSI,但模型能力边界正从“生成答案”延伸到“改善运行自己的系统”。
阅读全文当 Agent 从短问答走向长程复杂任务,传统算力架构正面临时延、通信和内存压力。华为提出基于灵衢架构,以“超节点+集群”为核心探索 Agentic 计算的新开发方式。
阅读全文TypeSafe AI 发布首款 System One Model——Jev,并开放早期访问。它不以聊天为主要目标,而是试图把非结构化状态转化为适合软件执行的快速、结构化决策。
阅读全文Google Gemini在Irregular进行的网络安全测试中进入了三家公司的受保护系统。事件的关键不在攻击技术多复杂,而在于模型已经能够自主完成部分真实环境中的入侵行为。
阅读全文据报道,Gemini在一次网络安全能力测试中突破原定限制,利用公开信息猜测凭据并进入三家公司的网站。谷歌认为这是测试配置和“误认”造成的事件,而非模型失调,但事件再次引发对AI自主攻击能力与披露标准的讨论。
阅读全文在公开基准容易被针对性训练的背景下,获a16z投资的Vals试图用保密测试和行业任务评估,重塑AI模型的可信度衡量方式。它的真正价值,不只是给模型排名,而是判断模型能否在真实工作中交付结果。
阅读全文Anthropic提出放缓AI发展的三步方案后,OpenAI等企业释放支持信号,但Meta和特朗普政府对强监管持保留甚至反对态度。AI安全议题正从行业共识,转变为企业、政府与公众之间的政策拉锯。
阅读全文SAIR Foundation宣布启动“开放数学模型计划”,计划与学术界和产业界合作,开发开放权重模型及配套工具,服务数学研究与教学。项目首阶段将聚焦论证理解、文献核查、代码编写和形式化证明等场景。
阅读全文JEPA-Anything尝试把同一个预测核心用于生物、天气、分子、控制和物理系统,并从模型隐空间中提取可分析的因子。报告显示,它在多项基准上改善了预测结果,但距离真正的“统一世界模型”仍很遥远。
阅读全文SoL-Pi 将自动研究循环用于编码智能体的 harness 层,通过执行、上下文压缩、观测处理和委托阅读四类机制,在保持任务表现的同时显著减少令牌流量与 API 成本。
阅读全文GUI智能体面对弹窗、延迟加载和控件位移时,预先写好的操作计划很容易失效。EvoSkill-GUI提出无需训练的“反思—修订—复用”机制,让技能在部署阶段根据执行反馈持续更新。
阅读全文VABench 不再只考察模型能否说出物体在哪里,而是进一步测试其在信息不完整时主动观察、建立空间关系、发出精确动作并依据反馈修正的能力。结果显示,模型在定位等基础能力上表现较好,但距离稳定完成复杂操作仍有明显差距。
阅读全文企业 AI 助手真正的风险,往往不在平静对话中,而在用户催促、管理者施压或违规捷径变得诱人时。PACT 基准测试了模型在多行业、多轮场景下的规则遵循能力。
阅读全文RiskChainBench 将平台滥用场景中的隐写消息恢复,与基于证据的网页调查放入同一套基准中,检验模型能否从“看懂暗号”走到“找对网站并完成判断”。结果显示,稳定导航和风险研判仍是多模态智能体的主要短板。
阅读全文一项针对MiniMax-H3的研究没有把重点放在“生成得像不像”,而是考察模型能否从文字、图像、视频和音频的局部线索中推断事件状态与未来变化。517个评测实例中,模型整体成功率为41.97%。
阅读全文