用190行纯JAX复现DeepSeek-V3:小模型也能拆解复杂架构
一个开源项目用约190行纯JAX代码实现DeepSeek-V3论文中的关键组件,并在苹果芯片笔记本上完成从零训练。它不是追求性能的成品模型,而是一份可阅读、可复现实验性的架构演示。
阅读全文一个开源项目用约190行纯JAX代码实现DeepSeek-V3论文中的关键组件,并在苹果芯片笔记本上完成从零训练。它不是追求性能的成品模型,而是一份可阅读、可复现实验性的架构演示。
阅读全文DeepSeek宣布开放一组应用能力API,开发者可独立调用联网搜索、网页抓取、文件处理、OCR、语音识别和语音合成等功能。官方还提供轻量级聊天前端示例,帮助开发者快速搭建接近DeepSeek App的产品。
阅读全文llama.cpp 与 ggml 正式进入 1.0.0 版本,重点不在单一性能突破,而在于为快速增长的本地 AI 生态建立稳定的 API、ABI 与发行机制。
阅读全文谷歌推出轻量级 C++ API LiteRT Tensor,允许开发者直接构建、修改和优化端侧机器学习计算图,并在 CPU、GPU 与 NPU 间保持较好的可移植性。其示例显示,统一的 C++ 图和零拷贝能力有望降低跨硬件部署与性能调优成本。
阅读全文PyTorch团队为Helion引入编译期启发式方法,通过分析内核IR和数据流,直接选择块大小、warps与流水线阶段等配置。该方法无需耗时自动调优,也能在多类内核上接近甚至超过既有实现。
阅读全文EUROPA联盟借助PyTorch与TorchTitan,在共享的JUPITER超算上完成近1万亿参数MoE预训练扩展,将单GPU吞吐从90提升至约1300 tokens/s。这个案例说明,面向特定硬件约束的系统级优化,可能比单纯堆叠算力更关键。
阅读全文Google推出Gemini Decisions API,面向模型路由、策略检查和内容评分等封闭式决策任务。它允许一次输入同时回答最多1000个问题,并返回概率与置信度。
阅读全文InfraRSI 将递归自我改进从算法和算子生成扩展到分布式大模型训练,通过统一搜索启动配置、内核代码与通信策略,在可验证约束下自动寻找更快的训练方案。实验显示,其在四类训练负载上最高带来 2.75 倍加速。
阅读全文PyTorch 推出 ExecuTorch WebGPU 后端,让模型无需转换为 ONNX、GGUF 或 TFLite 等格式,即可在支持 WebGPU 的浏览器中利用 GPU 推理。模型和输入数据都可留在本地设备,覆盖文本、视觉、语音等多类任务。
阅读全文Ray宣布成立面向硬件加速器的特别兴趣小组,计划联合硬件厂商、贡献者和应用开发者,推进跨厂商的加速器支持。其首批工作聚焦开发测试基础设施、硬件感知调度,以及高速网络与数据传输。
阅读全文PyTorch 2.15 将重写后的 NCCL 后端设为默认,并通过故障记录器、一侧传输和更灵活的 FSDP2,强化大规模分布式训练。该版本还带来 Blackwell、Apple Silicon、AMD 和 Intel GPU 的多项性能与平台支持更新。
阅读全文RSIHub 是一个面向智能体进化方法的开源框架,试图解决不同研究重复搭建执行、评估和实验追踪基础设施的问题。它通过可组合算子、资源管理与候选谱系,让研究者更专注于进化策略本身。
阅读全文开源项目 Strata 尝试把 Qwen3.8-Flash-Next 这类通常依赖服务器的 1250 亿参数模型,部署到配备 12GB 以上显存的个人电脑上。实测显示,量化后模型可在 RTX 5070、RX 9070 XT 等消费级硬件上以每秒数十个 token 的速度生成文本。
阅读全文北京大学团队提出 RayOrch,用面向父子关系的数据流编程模型,解决文档、视频等基础模型数据准备中的动态拆分、批处理、顺序恢复和故障隔离问题。
阅读全文Compile by Training 将自然语言任务说明转化为可复用的本地神经函数,通过教师模型生成示例,再训练轻量适配器。它在困难测试子集上取得更高语义准确率,但也带来了更高的编译成本与泛化风险。
阅读全文PyTorch 2.14 将重点从单点算子优化扩展到编译、通信、容错和多硬件协同。NVGEMM、nccl2、动态形状声明以及 Apple Silicon 原生线性代数,构成了本次版本的主要看点。
阅读全文Hugging Face 发布 @huggingface/kernels,为浏览器端 AI 提供可从 Hub 加载的 WebGPU 内核,并配套 Fleet 众测工具。首批 207 个内核覆盖矩阵乘法、归一化、注意力和量化等常见操作。
阅读全文Kubeflow近期集中推进Kale、Notebooks、Trainer、KServe和Hub等组件,覆盖从实验、训练到推理和模型管理的完整链路。项目同时强化Spark、HPC、安全与可观测性能力,为迈向CNCF毕业阶段铺路。
阅读全文YOLO-PEFT 将检测模型中的 PEFT 适配器放置问题,转化为可审计的约束规划流程。它的重点不是提出一个新的 LoRA 变体,而是让“哪些层能调、哪些层不该调”变得可解释、可复现。
阅读全文这项工作把 Test-Time Training 重新抽象为“可组合的模块系统”,不再把每个变体写死在单一实现里。它的价值不只在于提出新框架,也在于用统一视角拆解了 TTT 各组件到底谁在起作用。
阅读全文“Us vs. Them” 是一个面向代理式编辑场景的开源工具,用 diff 和 Git 历史推断文本中哪些行更接近人类创作、哪些来自 AI。它试图为代码和文档建立一种无需额外标记的行级来源感知机制。
阅读全文