腾讯混元发布 Hunyuan-A13B：80B 参数规模，推理仅激活 13B

导语

腾讯混元团队发布了 Hunyuan-A13B Technical Report，并开放这一基于混合专家（Mixture-of-Experts，MoE）架构的大语言模型。模型总参数量为 800 亿，但在推理过程中只激活约 130 亿参数。对需要兼顾模型能力、响应速度和部署成本的应用而言，这种“总规模更大、单次计算更轻”的设计具有现实吸引力。

核心要点

• MoE 架构降低推理负担：Hunyuan-A13B 并非每次生成都使用全部参数，而是通过专家模块选择机制，仅调用部分参数参与计算。报告将其定位为能力、计算效率和部署成本之间的折中方案。
• 大规模且经过筛选的训练语料：模型预训练使用了约 20T token 的语料，并特别加强 STEM 数据整理。素材称，这种数据处理旨在提升事实可靠性与推理能力，但当前摘要没有披露更细的语料构成、过滤规则或消融结果。
• 训练流程覆盖多个阶段：除预训练外，模型还经过高质量监督微调和大规模强化学习，以改善整体表现。报告摘要没有给出具体训练配方、计算资源或强化学习任务的细节。
• 双模式思维框架：模型能够根据任务复杂度调整推理深度。日常、简单问题采用“快速思考”，复杂的多步骤问题则使用“慢速思考”，目标是在响应延迟与解题质量之间取得平衡。
• 覆盖多类评测场景：报告称，Hunyuan-A13B 在数学、科学、编程、通用语言理解和智能体任务上展现出有竞争力的表现，部分场景接近参数规模更大的模型。不过，现有素材未提供具体基准名称、分数、对比模型或测试条件，因此不宜据此做出更细的排名判断。

意义与影响

Hunyuan-A13B 的重点并不只是参数量，而是把模型规模与实际推理成本拆开考虑。MoE 让模型可以保留更多参数带来的表示能力，同时控制每个 token 的激活规模；双模式推理则进一步把计算预算与任务难度关联起来。若相关设计能够在真实服务中稳定工作，它更适合对吞吐量和延迟敏感的应用，也可能降低部分部署场景的硬件压力。

对开源模型生态而言，报告提供了一个围绕高效推理展开的技术样本：一方面通过数据筛选、监督微调和强化学习增强能力，另一方面通过稀疏激活与自适应推理控制成本。不过，摘要层面的信息仍不足以判断其与其他开源模型的具体差异。后续还需要结合完整论文、模型权重、许可证、推理要求以及可复现实验结果，评估其开放程度和工程价值。

总体来看，Hunyuan-A13B 试图回答一个实际问题：如何让较大规模模型的能力服务于更高效的推理。它的价值最终将取决于公开模型能否被社区使用，以及报告中的性能和吞吐优势能否在不同硬件与任务上复现。

来源：Hugging Face Daily Papers