Transformer 深度难题的新解释：架构如何保护梯度秩

导语

Transformer 为什么能堆得很深，却又常常对归一化位置、残差比例和前馈层宽度极其敏感？这篇题为《Transforming Rank: How Architecture Navigates the Spectral Pathologies of Depth》的论文给出了一个偏理论但很有启发性的解释：深层网络的问题不只是激活值或梯度范数会变大、变小，还在于可传播的“方向”会变少，也就是秩会在层与层的复合中逐渐损失。

作者聚焦 Transformer 的前馈块，在初始化阶段研究输入—输出雅可比矩阵以及分支雅可比矩阵的秩如何随深度变化。论文将残差连接、归一化层位置、两层线性结构和中间维度扩展放到同一个框架中讨论：这些组件不仅是在稳定数值尺度，也是在决定有多少梯度方向能够穿过深层网络。

核心要点

• 残差连接不只是“防止梯度消失”：论文认为，残差路径会让梯度绕过会损失秩的非线性分支，从而保留更多方向。但这也带来代价：如果跳连占比太强，网络更像许多浅层变换的集成，而不是鼓励深层连续复合。

• Pre-Norm 与 Post-Norm 的差异可从秩解释：归一化层的位置会改变残差分支与跳连路径的相对尺度。作者用这一点解释为什么 Post-Norm 更容易出现秩塌缩，而 Pre-Norm 的秩表现更容易进入平台期。这把归一化位置和深度缩放相关文献中的一些现象放进了同一条逻辑线。

• 前馈块的“两矩阵结构”有保秩意义：Transformer 前馈层通常先升维、经过激活函数，再降维。论文指出，第二个矩阵可以削弱由非居中激活带来的相干均值尖峰，避免残差表示向少数方向集中。

• 中间宽度扩展帮助分支保持满秩：激活函数本身会减少有效方向。如果先在更宽的空间中施加激活，再映射回原维度，就更有机会保留足够多的方向。论文还将所需宽度与 Marchenko–Pastur 定律联系起来。

• 初始化时的秩可预测训练可行性：作者报告称，输入—输出雅可比矩阵在初始化时的秩与网络能否在 CIFAR-10 上训练相关。这说明秩可能是理解深层架构可训练性的一个有用信号。

意义与影响

这篇论文的价值在于，它没有把 Transformer 的经典设计只看作工程经验，而是尝试用谱性质和秩传播来解释它们为何有效。残差、归一化和宽度扩展通常被归入“稳定训练”的工具箱；而在这里，它们共同参与的是一个更细的权衡：避免秩塌缩、保持层间复合能力，同时控制参数成本。

对大模型架构研究来说，这种视角可能帮助研究者更系统地理解为什么某些归一化放置方式更适合深层模型，为什么前馈层需要扩展维度，以及为什么单纯增加深度并不总能带来更强表达。它也提醒我们，训练稳定性不只关乎标量尺度，还关乎高维空间中信息方向是否仍然丰富。

当然，论文讨论的重点是初始化阶段和前馈块结构，结论能在多大程度上推广到完整大语言模型训练、不同激活函数和真实大规模数据设置，还需要更多实验验证。但作为一种解释框架，“秩如何穿越深度”提供了理解 Transformer 架构的新入口。

来源：arXiv