返回文章列表
模型评测

EviScene:从“是不是AI生成”走向图像事实核查

阅读约 3 分钟

导语

判断一张图片“是不是AI生成”,解决的只是图像来源问题,并不能回答图片中的人物、地点、时间或事件是否真实。现实中的误导性内容也可能来自真实照片的错误配文、旧图新用、场景错置,或者对局部细节的夸大。论文提出的EviScene,试图把多模态模型从“看图猜真假”推进到更完整的图像事实核查。

核心方法:让智能体自己提出问题

EviScene的输入只有图片和通用核查指令,并没有预先提供一条明确的文字断言。智能体需要先观察画面,主动识别值得验证的人物、地点、物体、事件和时间线,再将这些观察转化为逐步收窄的事实问题。

在调查过程中,它交替使用视觉检查、网络搜索、图像检索和证据比对。新的搜索结果可能改变后续问题,智能体也会回到图片中重新查看相关区域。最终输出不只是“支持”或“驳回”,还需要说明外部证据如何对应到图片中的具体情境。

这种设计抓住了图像核查的关键难点:搜索到相关网页并不等于完成验证。证据必须与当前图片中的对象、地点或事件相匹配,否则模型即使碰巧给出正确判断,也可能只是凭借模糊关联得出结论。

数据与结果

研究团队构建了专家审阅的EviLens基准,包含10174张支持或驳回样本,数据来自受控构造和网络收集,覆盖12类事实错误。评测同时关注两件事:结论是否正确,以及提供的证据是否足以支撑结论。

在1527张测试图像上,经过监督微调和特权式在线自蒸馏训练的Qwen3.5-9B EviScene,平衡准确率达到79.05%,严格证据充分率达到52.26%。相较同一骨干模型的基础智能体,两项指标分别提升6.71和9.37个百分点;在参与比较的智能体中,其严格证据充分率最高。

意义与局限

EviScene的价值不只在于提高一个分类分数,更在于重新定义了图像真实性评估的目标:可靠系统必须能够说明“为什么这样判断”,并把证据与画面中的事实主张连接起来。这对于新闻核查、社交平台内容审核和多模态搜索都有参考意义。

不过,52.26%的严格证据充分率也说明,证据对齐仍远未解决。开放网络中的来源质量、搜索结果偏差、图片缺乏时间地点线索,以及复杂事件中的因果关系,都可能影响最终判断。未来的图像核查系统仍需要更强的来源评估、时间推理和不确定性表达能力。

代码、模型和数据将公开发布,研究者可以据此复现实验并进一步检验智能体在不同领域和真实信息环境中的表现。

Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章