VeriSpoof：一个音频大模型如何从“真假判断”走向语音取证

导语

面对语音克隆和神经编解码器生成内容，简单回答“这段音频是真的还是假的”已经不够。取证人员通常还需要知道：伪造由什么系统生成、合成发生在录音的哪一段、录音经历了怎样的通道处理，以及两份音频是否可能来自同一个源头。墨尔本大学团队提出的 VeriSpoof，试图用一个音频语言模型统一回答这些问题。

核心要点

• 五类任务共享一套模型。 VeriSpoof 同时覆盖深度伪造检测、生成器归因、录音条件分析、合成片段定位和来源验证。生成器归因进一步涉及生成器、声学模型与声码器等层级。
• 理由不是装饰性文本。 模型输出的判断由句子似然进行评分，检测和来源验证可以据此设定阈值，而不必分别增加专用分类头。理由中的陈述还需要能够对应波形测量、片段标签或生成器元数据。
• 强调“证据跟随”。 训练中加入反事实样本，让模型学习根据被陈述的证据作出判断。研究者称，修改模型指出的合成片段后，结论应随之变化；在 PartialEdit 测试中，带理由的方式识别率达到99.6%，明显高于一步式回答的78.4%。
• 开放权重版本表现突出。 VeriSpoof-Plus 在 Speech-DF-Arena 的14个测试集上取得2.14%的汇总等错误率，在28个系统中排名第三，并位列开放权重系统第一。仅使用八个语料库官方训练划分训练的 VeriSpoof-Base，EER 为4.43%。
• 参数效率较高。 模型总规模约28.5亿参数，但训练更新的参数约2970万；项目称其可通过梯度检查点在单张24GB GPU上完成训练，推理版本还可运行在单张12GB GPU上。

意义与局限

VeriSpoof 的价值在于把音频检测从单一标签扩展为一组可追溯的取证问题。对于部分替换、跨生成器比较以及训练阶段未见过的生成器，定位和来源验证可能比整体真假分类更有实际意义。实验中，使用相同权重对训练未出现的生成器进行来源验证，EER 为6.2%；控制实验则表明，音频表示主要影响检测能力，语言模型更影响录音比较，而针对来源的监督对识别神经编解码器伪造内容不可或缺。

不过，这些结果仍属于论文和基准测试中的表现，不能直接等同于现实取证中的确定性结论。音频压缩、噪声、设备差异和不断变化的生成器，都可能改变证据强度。VeriSpoof 更值得关注的地方，是它尝试让检测结果与可复核理由绑定，为未来的语音安全工具提供一种比“真/假”标签更接近专业工作流的设计方向。

来源：Hugging Face Daily Papers