不用训练模型，如何从网络规格估算架构潜力？NSC给出新答案

导语

在Transformer设计和模型压缩中，研究者经常面对同一个问题：预算有限时，容量应该放在更深的网络、更宽的隐藏层、更多注意力头，还是更大的FFN？参数量和FLOPs是最常用的指标，但它们主要描述模型有多大、运行有多贵，并不能充分表达网络内部的结构差异。两个模型即使拥有相近的参数预算，只要深度、宽度、头数或FFN分配不同，实际表现也可能明显不同。

一篇题为《Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone》的论文提出了NSC，试图为架构评估增加一个更贴近矩阵结构的尺度。

核心方法

NSC的出发点是权重矩阵的奇异值谱。论文利用标准随机初始化条件下的Marchenko–Pastur定律，把矩阵形状和初始化方差与其谱特征联系起来。这样，模型无需真正实例化，也不需要训练数据、梯度或一次训练，就能根据架构规格计算一个闭式容量分数。

这一设计还有一个重要性质：网络总分可以按层相加。基于此，作者构建了NSC-DP，将架构搜索转化为带预算约束的动态规划问题。相比需要反复评估候选模型的黑盒搜索，动态规划能够在给定参数量或FLOPs预算下返回NSC意义上的全局最优解，并在CPU上快速完成搜索。

实验观察

• 在FlexiBERT架构排序实验中，NSC的整体排序相关性高于参数量和部分训练无关代理；当比较参数量差异小于10%的模型时，NSC仍能提供区分度，而单纯参数量指标明显失效。
• 在WikiText-103上的Transformer-XL设计实验中，NSC-DP在约两秒内找到的架构，困惑度优于人工设计基线。
• 对LLaMA-7B进行结构化压缩时，NSC在不使用校准数据的情况下筛出5.7B方案，并在八项常识推理任务上取得最佳综合结果；其搜索速度约为最强训练无关代理基线的5900倍。

意义与边界

NSC的价值不只是提出一个新分数，更在于把“评估架构”和“搜索架构”连接起来：如果评分函数既能从规格直接计算，又具有可分解结构，架构设计就可能从昂贵的训练试错转向更系统的组合优化。对于模型家族扩展、压缩和预算配置，这种方法尤其具有吸引力。

不过，NSC建立在随机初始化和谱分布理论之上，它衡量的是一种结构层面的容量，而不是对所有数据集、训练策略或任务表现的直接保证。论文中的结果说明它具有较强的筛选价值，但实际部署仍需要训练和任务验证。未来值得关注的是，NSC能否与数据感知指标、硬件成本以及激活和优化动态结合。

来源：Hugging Face Daily Papers