1つのモデルで推論量を可変にするELR、循環モデルの弱点を克服

導入

一般的な大規模言語モデルは、学習時に決められた深さで推論します。一方、潜在循環型の言語モデルは、同じレイヤーブロックを隠れ状態に対して繰り返し適用します。ループ回数を変えれば、計算量と品質のバランスをリクエストごとに調整できるのが特徴です。少ないループなら応答を速くし、多いループなら追加の計算で表現を精緻化できます。

ただし従来の方式では、1ループだけ実行した際の性能が、同規模の非循環モデルを大きく下回ることがありました。論文『One Model to Loop Them All』が提案するElastic Latent Recurrence（ELR）は、この「1ループ税」をなくすことを狙った訓練レシピです。

3つの設計要素

ELRは単純に同じブロックを繰り返すのではなく、次の仕組みを組み合わせます。

• ゲート付き状態更新と学習可能なステップ幅：各ループで隠れ状態をどの程度変更するかをモデルに調整させ、反復による状態の不安定化を抑えます。
• 最適化更新内でループ数を混在：学習中に異なる深さを経験させ、低予算と高予算の推論を同じチェックポイントで扱えるようにします。
• ループ番号と予算への条件付け：モデルに現在が何回目のループか、どれだけの計算予算があるかを伝え、後続ループを明確な改善ステップとして使わせます。

論文によると、最初の2つは主に1ループ時の性能を守る役割を担い、3つ目はループ追加時の損失低下に寄与します。混合深度学習は事前学習の最初から導入する必要もありません。学習後半で条件付けを追加し、その重みをゼロ初期化して切り替える方法でも、最初から混合深度で学習した場合より低い損失が得られたと報告されています。

結果と運用上の工夫

実験対象は4Bの密モデルと30B-A3BのMoEハイブリッドモデルです。対応する非循環ベースラインと比べると、1ループ時の10タスク平均はそれぞれ0.52ポイント低く、1.04ポイント高い結果でした。4ループまで増やすと、平均スコアはそれぞれ7.25ポイントと4.75ポイント上昇しました。重要なのは、すべての要求で最大ループを使うことではなく、1つのモデルで遅延と品質の異なる運用モードを提供できる点です。

MoEでは、ループごとに専門家ルートを計算するコストも問題になります。ELRでは、2回目以降に初回の専門家ルートを再利用することで、混合深度の更新時間を11.7%短縮し、精度に測定可能な変化はなかったとしています。推論時には最後のループの注意機構KVキャッシュだけを保持する方式を採用でき、注意KVメモリを1ループ時の水準に保ちながら、追加ループの効果の大部分を維持できます。

後処理を経たKoi-4Bについて、論文はArtificial Analysis Intelligence Indexの推定スコアを1ループで18、4ループで29と報告しています。1ループ時はQwen3.5-4Bとの比較が示されていますが、これらは論文中の推定値であり、すべての評価で普遍的に成り立つ性能を意味するものではありません。

意義と課題

ELRは、モデルの選択を一部「推論予算の選択」に置き換えます。サービス側は、リクエストの重要度、端末負荷、許容遅延に応じてループ数を変えられ、低遅延用と高品質用のモデルを別々に管理する必要を減らせます。

一方、追加ループには追加計算が必要で、その効果はタスクによって異なる可能性があります。今回の結果も特定のモデル規模と学習設定に基づくもので、より大きなモデル、長文脈、異なる後処理手順への一般化は今後の検証課題です。それでもELRは、可変深度推論を後付けの機能ではなく、学習段階から最適化すべきサービス能力として捉える考え方を示しています。

出典：arXiv