NESTONE：让决策模型按需使用计算深度

导语

把大语言模型用于快速、直接的“System 1”式决策，常见做法是替换语言建模头，保留原有的完整骨干网络。这样能够复用模型能力，却也带来一个现实问题：每次判断是否真的都需要经过全部层？一项发表于 Hugging Face Daily Papers 的研究，围绕决策信息在网络深度中的分布进行了分析，并提出了名为 NESTONE 的自适应计算方案。

核心要点

• 决策信息并非均匀分布。 研究观察到，早期层主要构建必要的基础特征，中间层已经聚集了与决策相关的重要信息。相比之下，最后六层在实验中被移除后，性能没有出现损失。
• 单独训练的小模型未必更“专门化”。 研究认为，独立训练的浅层模型在很大程度上是在模仿完整模型，而不是形成针对决策任务的特殊能力。因此，简单缩短骨干网络并不一定能带来理想的效率收益。
• NESTONE 共享不同深度的计算。 该方法联合训练一个完整模型和多个前缀子模型。不同出口共享后部层和决策头，并通过自蒸馏让较浅路径学习完整模型的决策行为。
• 门控机制支持提前退出。 一个轻量级门控模块读取各个出口的隐藏状态，判断当前结果是否已经足够可靠。如果不需要更多信息，模型可以停止继续计算；面对更复杂的输入，则继续向更深层执行。

意义与影响

这项工作的关键启示，不是“模型越小越好”，而是应当让同一套参数服务于不同计算预算。独立维护多个不同规模的决策模型，可能造成参数和训练成本重复；NESTONE 则尝试在一个模型中提供多种推理深度，并用共享与蒸馏减少能力差异。

对于需要低延迟或成本敏感的决策系统，自适应退出意味着简单样本可以快速处理，复杂样本再使用更多计算，从而改善准确率与效率之间的平衡。研究还提示，评估决策模型时，不能只看完整深度下的准确率，也应考察中间层是否已经具备可用能力，以及不同深度之间能否有效共享知识。

不过，现有材料只说明该方法在七项决策基准上达到或超过独立训练模型，并未提供具体数据、任务名称或部署开销。因此，NESTONE 的实际收益仍需结合更完整的实验结果、门控误判成本和不同硬件环境进一步判断。

来源：Hugging Face Daily Papers