文章与教程

Claude API 中转站避坑指南、检测原理与大模型 API 实测经验

共 795 篇文章

CCTest · Blog
Multi-Head Attention Residuals:让 Transformer 的残差通路也拥有多头路由
大语言模型
cctest.ai
大语言模型

Multi-Head Attention Residuals:让 Transformer 的残差通路也拥有多头路由

这篇论文提出 Multi-Head Attention Residuals(MHAR),试图解决 Transformer 残差流只能以单一方式读取深度历史的问题。它用按特征子空间拆分的多头 softmax 做层间路由,在几乎不增加参数和计算的情况下改善验证损失。

阅读全文