DeepLoop：ループ型 Transformer の深さ拡張を安定化する手法

導入

Looped Transformers は、モデルの保存パラメータ数を増やさずに逐次計算の深さを伸ばすためのアプローチです。多数の層を別々に持つのではなく、コンパクトな物理 Transformer ブロックを何ラウンドも適用します。これにより、展開された計算深度は大きくなりますが、保存すべきパラメータは増えません。

DeepLoop が扱うのは、この設計に伴う安定性の問題です。ループ型 Transformer は、単に通常の Transformer の層数を増やしたものではありません。同じブロックが複数回訪問されるため、共有パラメータは繰り返し訪問から勾配を集約し、その更新が次の線形化された順伝播で再び読み出されます。この性質により、残差スケーリングの考え方を見直す必要が生じます。

主要ポイント

• パラメータ再利用が問題の中心：通常の untied Transformer では、各残差分岐が独自のパラメータ更新を持ちます。一方、looped Transformer では同じ更新が複数の訪問に共有されます。
• ** tied-depth effect の定式化**：論文は一階摂動境界を用いてこの効果を表し、訪問間の整合度を示す係数 κ_R を導入しています。
• DeepNorm の指数は常に十分ではない：訪問が互いに非相関に近い場合は DeepNorm の指数を回復できます。しかし保守的に整合している場合、物理深度を固定してループ回数を増やすと、指数は 1/4 から 1/2 へ高める必要があります。
• DeepLoop の設計：新しいブロックを追加するのではなく、Post-LN DeepNorm アーキテクチャを保ち、展開深度 N に対して α=(2N)^{1/2}、β=(8N)^{-1/2} を設定します。
• 実験結果：GPT-2 small および GPT-2 medium 規模の GPT 風ループ型言語モデルで評価されました。物理ブロックが再訪問されない場合は中立的ですが、recurrent depth を有効にすると検証損失と下流タスク精度が改善しました。

意義と影響

この研究の重要な点は、ループ型モデルの深さ拡張を「層数」だけで測れないと示したことです。同じパラメータが何度訪問されるか、訪問間の更新がどれほど整合するかが、安定性に直接関わります。

これは、パラメータ効率の高い LLM、再帰的計算、推論時計算量の拡張を目指す研究にとって重要です。小さなブロックを繰り返し使って能力を引き出すには、残差スケーリングや初期化もその再利用構造に合わせなければなりません。

現時点の結果は GPT 風モデルの GPT-2 small / medium 規模に限られており、より大規模なモデルや異なる学習設定での検証は今後の課題です。それでも DeepLoop は、安定した再帰的深度には、名目上の層数ではなくパラメータ訪問を考慮したスケーリングが必要だという明確な示唆を与えています。

出典：Hugging Face Daily Papers