LLM 多重验证并非越多越安全：相关性会让可靠性提前见顶

导语

在 LLM 应用中，一个常见的可靠性设计是“多重把关”：模型生成答案后，再让一个或多个验证器逐次判断，只有连续通过若干道门，答案才会被交给用户。直觉上，验证次数越多，错误越难逃过筛查；在理想的条件独立假设下，失败概率确实会随验证深度呈指数下降。

但 arXiv 新论文《Partially Correlated Verifier Cascades in LLM Harnesses》提醒：真实系统里的验证器往往不是彼此独立的。它们可能共享模型架构、训练数据、提示方式或外部证据，因此会在同一类错误上一起失手。作者用一个极简统计模型解释了这种现象，并给出可测量、可拟合的可靠性曲线。

核心要点

• 把错误的“易漏检程度”建模为潜变量：论文将生成器自身错误在每个实例上的误接受率表示为随机变量 α。换言之，不同错误并不一样，有些错误很容易被验证器抓住，有些则天然更像“盲点”。
• 多重验证的收益是凹的：在非退化分布下，级联验证的后验 log-odds 随验证次数增加呈凹增长。也就是说，第一道门通常最有用，后续每增加一道门的边际收益会下降。此前基于独立性的 Odds Law 更像是一条切线式上界，而不是现实系统的稳健预测。
• 可靠性可能只按多项式改善：当 α 服从 Beta 分布时，失败率不是指数级下降，而是按多项式速度下降。论文还给出相关参数与分布参数之间的关系，用来描述验证器判定之间的相关程度。
• 盲区会形成上限：如果存在一部分错误样本几乎总能通过验证，即 α=1 处有原子质量，那么无论增加多少道验证门，系统可获得的证据都有上限，可靠性会在低于 1 的位置饱和。
• 验证也可能反而伤害系统：当真答案的通过率 β 也随实例变化时，级联会出现三种情形：长期有益、进入平台期，或最终造成负面影响。决定因素是错误样本与正确样本在高通过率尾部的分布差异。

意义与影响

这项工作的关键启发是“幸存者偏差”：能连续通过验证的错误，往往正是最难被当前验证体系识别的错误。随着验证层数增加，剩下的错误样本会越来越集中在高 α 区域，因此继续重复同类 verifier 的收益会快速衰减。

对工程实践而言，这意味着不能简单用“单次验证准确率”外推深层级联的可靠性。论文指出，可以通过对同一实例重复收集 R 次 verdict 来识别潜变量分布的前 R 阶矩；两个 verdict 就能估计相关性参数，更深的重复数据则可用于恢复可靠性曲线和潜在盲区上限。

更重要的是，可靠性提升的抓手不应只是增加验证次数，而应是去相关：更换模型家族、引入不同模态、使用独立证据源，或让验证逻辑覆盖不同错误模式。对于 AI agent、代码生成、医学问答等高风险场景，这一结论尤其重要。多一道相似的门，未必等于多一份真正独立的安全保障。

来源：arXiv