让一个模型按需“多想几遍”：ELR消除循环语言模型的一次循环税

导语

大语言模型通常在训练完成后以固定深度运行：模型有多少层，推理时就执行多少层。潜在循环语言模型则采取另一条路线，让同一组网络层反复处理隐藏状态，从而用循环次数调节推理计算量。循环少一些，响应更快；循环多一些，理论上可以获得更好的结果。

问题在于，传统循环模型往往存在明显的“一次循环税”：只运行一遍时，效果显著落后于参数规模相近的非循环模型。这样一来，只要应用重视低延迟，直接使用普通模型通常更划算。论文《One Model to Loop Them All》提出的 Elastic Latent Recurrence（ELR），目标正是消除这一缺陷。

ELR做了什么

ELR不是简单地把一组层重复执行，而是围绕训练和状态更新设计了三项机制：

• 带门控和可学习步长的状态更新：模型可以控制当前循环对已有隐藏状态的改变量，避免重复计算导致状态失真，同时尽量保留一次循环时的基础能力。
• 在每次优化更新中混合循环深度：训练时让不同样本或批次使用不同循环次数，使模型同时适应低预算和高预算推理，而不是只针对某一个固定深度优化。
• 为每次循环注入循环索引与预算信息：模型知道自己处于第几次循环，以及可用的总预算，从而让后续循环承担更明确的精化任务。

论文指出，前两项主要用于保住一次循环的效果，第三项则帮助模型在增加循环次数时持续降低损失。混合深度训练也不必从预训练第一天开始：研究者尝试在预训练后期再加入这一机制，并通过零初始化的条件化模块平滑切换，结果优于从头进行混合深度训练的方案，同时有望减少额外训练成本。

实验结果与工程取舍

在4B稠密模型和30B-A3B MoE混合模型上，ELR的一次循环表现分别比匹配的非循环基线低0.52个百分点和高1.04个百分点；增加到四次循环后，十项任务平均分分别再提高7.25和4.75个百分点。这个结果说明，ELR的重点并不是让所有场景都使用最多循环，而是让一个检查点覆盖从低延迟到高质量的不同服务档位。

MoE场景还涉及专家路由的额外开销。论文报告称，在后续循环中复用第一次循环的专家路由，可以让混合深度更新时间减少11.7%，且没有测得准确率变化。推理阶段，如果只保留最后一次循环的注意力KV缓存，注意力KV内存可以维持在一次循环的水平，同时保留大部分额外循环带来的收益。这对受显存和并发约束的服务系统尤其重要。

经过后训练，作者还给出了名为Koi-4B的单一检查点：一次循环时，其估计的Artificial Analysis Intelligence Index得分为18，四次循环时为29；论文将前者与Qwen3.5-4B作对比。这里的指数分数属于文中报告的估计结果，不能直接等同于所有任务上的普遍性能结论。

意义与局限

ELR的实际价值在于把“模型大小选择”部分转化为“推理预算选择”。同一个部署版本可以根据请求优先级、设备负载或延迟目标调整循环次数，减少同时维护快慢两套模型的需要。对服务商而言，这也可能简化模型管理和弹性调度。

不过，额外循环仍然意味着更多计算，低延迟场景不会无成本获得高质量；不同任务对循环次数的收益也可能并不一致。论文当前展示的是方法和特定模型配置下的结果，是否能稳定迁移到更大模型、长上下文及更广泛的后训练流程，还需要更多公开实验验证。总体而言，ELR提供了一种较清晰的思路：把可变推理深度从模型结构特性，变成训练阶段就被明确优化的服务能力。

来源：arXiv