返回文章列表

腾讯开放Hy4权重:7700亿参数MoE模型支持百万词元上下文

阅读约 3 分钟

腾讯混元于11月20日开放Hy4模型权重,并同步发布系统卡。根据官方介绍,Hy4面向文本、图像和视频理解,语言骨干总参数量为7700亿,每个词元激活490亿参数;上下文长度标称为1048576词元。此次公布的材料不仅包括模型规格,也披露了架构设计、应用方向和多项评测结果,为外界了解模型能力提供了较完整的参考。不过,评测数据主要来自官方测试,仍需结合独立复现来判断实际表现。

核心要点

  • MoE骨干与稀疏激活: Hy4共有78层,首层使用稠密前馈网络,其余77层采用MoE结构。每个MoE层配置256个路由专家和1个共享专家;每个词元选择8个路由专家,并使用共享专家。
  • 长上下文与注意力设计: 模型采用Gated DeepSeek Sparse Attention,并借助IndexCache复用跨层稀疏索引。官方给出的上下文上限为1048576词元。长上下文能力能否稳定转化为具体任务效果,还要看实际部署、输入内容和推理配置。
  • 多模态与解码组件: 视觉编码器支持动态图像分辨率,图像和视频帧特征经适配器转换为视觉词元,与文本共同处理。另有3.3亿参数的DFly2草稿模型,通过复用KV缓存和稀疏索引支持推测解码;官方称其额外成本较低。
  • 能力覆盖较广: 腾讯列出计算机操作、前端与游戏开发、金融办公、科学研究和长周期任务等应用方向,并公布多组文本及多模态基准成绩。金融任务评测由官方组织,结果不应直接视为跨机构、跨场景的普遍排名。

评测怎么看

在公开表格中,Hy4 Base于部分知识、推理和多模态测试取得较高分数,但不同基准的任务类型、样本规模和评价方式并不相同,不能只用单一分数概括模型水平。腾讯还说明,基础模型在中期训练中接触了大量合成指令数据,少样本评测时偶尔不能遵循预期答案格式,可能影响成绩;表格中的领先分数也不代表统计显著性。金融相关结果则来自内部工作流与专家评估,适合视作特定测试条件下的表现。

意义与影响

开放权重使研究者和开发者能够进一步检查、部署或适配Hy4,也让模型的长上下文、多模态和稀疏激活设计进入更广泛的实践检验。7700亿总参数意味着部署仍需面对显著的算力与工程要求,490亿激活参数并不等于模型整体资源开销很低;具体成本还取决于权重精度、推理框架和硬件配置。系统卡和权重同时发布,有助于技术社区了解模型结构与已披露限制。后续值得关注的,不只是跑分,还包括独立复现、长上下文质量、视频理解效果、推理成本,以及许可条款对实际使用的约束。

来源:Web Search

评论

正在确认登录状态……

正在加载评论……

相关文章