DeepLoop：让循环 Transformer 的深度扩展更稳定

导语

Looped Transformers 的思路很直观：不把模型堆得越来越厚，而是让一小组 Transformer 物理块被多轮调用。这样做可以在不增加存储参数的情况下，提高模型的顺序计算深度，也就是论文所说的 unrolled depth。对于希望在参数效率和计算能力之间取得平衡的大语言模型研究来说，这是一条很有吸引力的路线。

但 DeepLoop 这篇论文指出，循环使用同一组层并不是“把普通 Transformer 的层数变多”这么简单。因为参数被绑定、被重复访问，残差分支中的更新、梯度累积和下一次前向读取之间会产生新的耦合关系。如果仍然只按照传统非共享层 Transformer 的深度来设计残差缩放，训练稳定性可能会受到影响。

核心要点

• 问题来自参数复用：在普通 untied Transformer 中，每一层残差分支都有自己的参数更新；而在 looped Transformer 中，同一组参数会在多次访问中接收聚合梯度，并在下一次线性化前向传播中被这些访问再次读取。
• 作者形式化了“绑定深度效应”：论文用一阶扰动界来描述这种现象，并引入 visit-alignment coefficient κ_R，用于刻画不同访问之间更新方向的对齐程度。
• DeepNorm 规则需要被修正：当多次访问之间较为去相关时，推导可以恢复 DeepNorm 中熟悉的指数；但在更保守的对齐情形下，随着循环次数增加、物理深度固定，缩放指数需要从 1/4 提高到 1/2。
• DeepLoop 的具体设定：方法保持 Post-LN DeepNorm 架构，并针对展开深度 N 设置 α=(2N)^{1/2}、β=(8N)^{-1/2}。这意味着它并不是提出全新模块，而是重新校准循环深度下的残差尺度。
• 实验现象：在 GPT-2 small 与 GPT-2 medium 规模的 GPT 风格循环语言模型上，当没有物理块被重复访问时，DeepLoop 基本保持中性；一旦启用 recurrent depth，它能改善验证损失和下游任务准确率。

意义与影响

DeepLoop 的价值在于提醒研究者：循环式深度扩展不能只看“展开后有多少层”，还要看同一参数被访问了多少次、这些访问之间如何相互影响。对于追求参数效率的 LLM 架构，这一点尤其关键。相比单纯扩大参数量，循环计算提供了另一种提升推理与表示能力的路径，但它要求训练规则同步适配。

这项工作也为 Looped Transformers、潜在循环模型以及测试时计算扩展等方向提供了一个更清晰的理论视角：稳定性不是附属细节，而是架构能否真正扩展的前提。DeepLoop 目前的结果集中在 GPT 风格语言模型和有限规模实验上，后续仍需观察它在更大模型、更长循环、更复杂训练配方中的表现。但至少从这篇论文看，残差缩放已经从“按层数调参”变成了“按参数访问模式设计”的问题。

来源：Hugging Face Daily Papers