AV-FABLE：让长视频音画篡改定位从“整段判断”走向双时间线取证

导语

长视频中的AI篡改，往往不是整段视频都被替换，而是在一场采访、一次演讲或一个开放场景中，悄悄改变几秒钟的画面、声音，甚至只动其中一种模态。此时，仅回答“这段视频是真是假”并不足以支持取证：调查人员还需要知道篡改发生在什么时候，以及问题究竟来自音频还是视觉内容。

论文《AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos》正是针对这一缺口提出新的基准和方法。它将长视频取证从视频级分类推进到音画分开、时间精确的定位任务。

核心要点

• 面向长视频的双时间线基准。 AV-FABLE包含16,650对“原始—篡改”孪生视频，总时长998小时，覆盖27种编辑配置。数据不再把音频和画面压缩到同一条时间轴上，而是分别记录两种模态的篡改位置。
• 独立定位能够暴露隐藏错误。 如果只在联合时间线上评估，模型可能因为猜中了大致时段而获得看似不错的结果，却无法判断是声音还是画面出了问题。双时间线设计因此提供了更细的诊断视角。
• 直接问模型并不等于模型具备取证能力。 在该基准上，对音视频大语言模型进行零样本提示，篡改检测接近随机水平，时间定位也较差。这说明自然语言输出未必能直接呈现模型内部的视觉和听觉证据。
• NFSR专门读取冻结特征。 研究提出Native Forensics via Separated Readouts（NFSR），冻结音视频大模型的感知部分，并为音频与视觉特征配置独立的时间解码器。结果表明，相关取证线索可能已经编码在模型表示中，只是需要合适的读取结构才能释放。
• 强调跨分布泛化。 NFSR不仅在AV-FABLE内部取得最佳音视频定位表现，在三种分布外设置中也保持领先，并能迁移到外部长视频取证基准的留出视频。

意义与影响

AV-FABLE的价值首先在于重新定义了长视频深伪评测的粒度。过去许多音视频基准集中于短时、人物居中的说话人视频，而开放场景长视频包含更多背景声、镜头变化和非人脸内容，篡改也可能只影响极短事件。将音频与视觉时间线拆开，有助于区分“检测到了异常”和“解释清楚异常来源”之间的差别。

这项工作也对多模态大模型的应用方式提出提醒：强大的感知表征不必然带来可靠的语言化判断。对于取证等需要精确时间边界的任务，冻结通用模型、再接入面向模态和时序的轻量读取器，可能比单纯增加提示词更有效。未来，如何降低真实场景中的误报、覆盖更多类型的生成式编辑，并让定位结果更易被调查人员核验，仍是落地时需要继续解决的问题。

来源：Hugging Face Daily Papers