返回文章列表
框架与工具

用190行纯JAX复现DeepSeek-V3:小模型也能拆解复杂架构

阅读约 3 分钟

导语

复杂的大模型架构,未必只能通过庞大的工程栈来理解。GitHub 上的 deepseek-v3-jax 项目尝试用约190行非空、非注释的纯 JAX 代码,重现 DeepSeek-V3 技术报告中的若干核心设计。项目不依赖 Flax、Equinox 或 PyTorch,模型参数直接以数组字典保存,代码从上到下都可以阅读。

这项工作的重点不是训练出一个有竞争力的语言模型,而是把论文中的结构压缩成一份可运行的教学型实现。作者还公开了数据准备、训练、评估、采样和测试脚本,方便研究者在本地复现实验。

核心要点

  • 多头潜在注意力(MLA):模型为每个令牌缓存较小的潜变量,而不是完整的键和值。在项目配置中,缓存规模从每令牌480个数值降至144个;同时,解耦 RoPE 将旋转位置编码使用的键分量独立出来。
  • DeepSeekMoE:每个令牌都会经过一个共享专家,并从16个路由专家中选择4个。为保持可读性,项目没有实现真正的稀疏分发,而是让所有专家计算后将未选结果置零,因此更适合作为架构演示。
  • 两种负载均衡机制:路由偏置会根据专家闲置情况调整下一轮选择,不直接改动专家权重;此外还实现了论文中的序列级平衡损失。
  • 多令牌预测(MTP):额外模块预测下一个之后的令牌,并以0.3的权重加入训练目标。
  • 可复现实验:默认模型有3620万参数,每个令牌约激活1360万参数。训练数据来自207本公共领域侦探小说,共约2170万训练令牌;在 MacBook Air M5、24GB 内存上训练1.2万步约需2.6小时,速度中位数约为每秒1.07万令牌。

结果与边界

实验中,验证损失从第250步的5.02降至3.51。启用路由偏置后,第2000步各专家负载约为5.7%至6.9%,接近理想的6.25%;关闭偏置时则扩大到0.09%至18.6%。不过在该步,两组实验的验证损失几乎相同,说明均衡机制在这里主要改善的是专家使用分布,而不是立即带来更低的损失。

项目明确列出了简化之处:MoE 没有采用稀疏专家计算,MLA 也没有使用权重吸收,推理时会显式解压潜变量;FP8 训练、DualPipe、节点受限路由和 YaRN 等内容也未包含。因此,190行代码不应被理解为完整的生产级 DeepSeek-V3 复刻。

意义与影响

这类实现的价值在于降低阅读门槛。研究者可以直接观察缓存、路由、平衡损失和生成流程之间的关系,再通过公开的消融实验验证设计是否生效。它也提醒人们:论文中的创新机制和工业级系统优化是两层问题。前者可以被压缩成易读的原型,后者还需要稀疏计算、并行训练、低精度和大规模基础设施共同支撑。

对希望学习 JAX 或 MoE 架构的人来说,这个项目更像一份带实验数据的代码注释,而不是一个新的基础模型发布。需要注意的是,项目提供的检查点是 Python pickle 文件,只应从可信来源加载。

来源:Hacker News

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
LiteRT Tensor API:谷歌把端侧模型优化推进到计算图层
框架与工具
cctest.ai
框架与工具

LiteRT Tensor API:谷歌把端侧模型优化推进到计算图层

谷歌推出轻量级 C++ API LiteRT Tensor,允许开发者直接构建、修改和优化端侧机器学习计算图,并在 CPU、GPU 与 NPU 间保持较好的可移植性。其示例显示,统一的 C++ 图和零拷贝能力有望降低跨硬件部署与性能调优成本。

阅读全文