用190行纯JAX复现DeepSeek-V3:小模型也能拆解复杂架构
导语
复杂的大模型架构,未必只能通过庞大的工程栈来理解。GitHub 上的 deepseek-v3-jax 项目尝试用约190行非空、非注释的纯 JAX 代码,重现 DeepSeek-V3 技术报告中的若干核心设计。项目不依赖 Flax、Equinox 或 PyTorch,模型参数直接以数组字典保存,代码从上到下都可以阅读。
这项工作的重点不是训练出一个有竞争力的语言模型,而是把论文中的结构压缩成一份可运行的教学型实现。作者还公开了数据准备、训练、评估、采样和测试脚本,方便研究者在本地复现实验。
核心要点
- 多头潜在注意力(MLA):模型为每个令牌缓存较小的潜变量,而不是完整的键和值。在项目配置中,缓存规模从每令牌480个数值降至144个;同时,解耦 RoPE 将旋转位置编码使用的键分量独立出来。
- DeepSeekMoE:每个令牌都会经过一个共享专家,并从16个路由专家中选择4个。为保持可读性,项目没有实现真正的稀疏分发,而是让所有专家计算后将未选结果置零,因此更适合作为架构演示。
- 两种负载均衡机制:路由偏置会根据专家闲置情况调整下一轮选择,不直接改动专家权重;此外还实现了论文中的序列级平衡损失。
- 多令牌预测(MTP):额外模块预测下一个之后的令牌,并以0.3的权重加入训练目标。
- 可复现实验:默认模型有3620万参数,每个令牌约激活1360万参数。训练数据来自207本公共领域侦探小说,共约2170万训练令牌;在 MacBook Air M5、24GB 内存上训练1.2万步约需2.6小时,速度中位数约为每秒1.07万令牌。
结果与边界
实验中,验证损失从第250步的5.02降至3.51。启用路由偏置后,第2000步各专家负载约为5.7%至6.9%,接近理想的6.25%;关闭偏置时则扩大到0.09%至18.6%。不过在该步,两组实验的验证损失几乎相同,说明均衡机制在这里主要改善的是专家使用分布,而不是立即带来更低的损失。
项目明确列出了简化之处:MoE 没有采用稀疏专家计算,MLA 也没有使用权重吸收,推理时会显式解压潜变量;FP8 训练、DualPipe、节点受限路由和 YaRN 等内容也未包含。因此,190行代码不应被理解为完整的生产级 DeepSeek-V3 复刻。
意义与影响
这类实现的价值在于降低阅读门槛。研究者可以直接观察缓存、路由、平衡损失和生成流程之间的关系,再通过公开的消融实验验证设计是否生效。它也提醒人们:论文中的创新机制和工业级系统优化是两层问题。前者可以被压缩成易读的原型,后者还需要稀疏计算、并行训练、低精度和大规模基础设施共同支撑。
对希望学习 JAX 或 MoE 架构的人来说,这个项目更像一份带实验数据的代码注释,而不是一个新的基础模型发布。需要注意的是,项目提供的检查点是 Python pickle 文件,只应从可信来源加载。
来源:Hacker News
评论
正在确认登录状态……
正在加载评论……