VisionScreen：把“筛选”机制引入视觉识别，挑战 ViT 的软注意力范式

导语

Vision Transformer（ViT）把图像切成 patch，并用自注意力建模全局依赖，已经成为视觉识别中的重要架构。但自注意力的一个特点是：它通常通过 softmax 在所有 patch 之间分配相对权重。换句话说，每个 patch 都会被纳入加权聚合，只是权重大小不同。这种机制很强大，却不擅长明确回答一个问题：某个 patch 是否应该被直接排除？

arXiv 论文《Screening Is Effective for Visual Recognition》尝试给出另一种思路。作者提出 VisionScreen，把此前用于语言建模的 Screening 机制迁移到视觉识别中，让模型不只是“给所有 patch 排序分权重”，而是能基于绝对相关性判断，筛掉低相关的图像块。

核心要点

• 问题来自 softmax 注意力的相对性：ViT 的自注意力会对所有 patch 进行 softmax 归一化，得到的是彼此竞争后的相对权重。即便某些背景或冗余 patch 与当前目标关系很弱，它们也仍然参与聚合。
• Screening 强调独立相关性判断：论文借鉴语言模型中的 Screening 思想，利用 query-key 相似度评估 token 的相关性，并通过阈值机制显式排除低相关 token。
• VisionScreen 面向二维图像结构改造：图像 patch 并不是一维文本序列，而是分布在二维网格上。VisionScreen 将绝对相关性估计扩展到二维空间，使每个 patch 能选择内容相关、空间上也合理的其他 patch。
• 目标是减少无关信息进入聚合：在视觉识别场景中，背景、重复纹理和无效区域很常见。显式筛选机制有望降低这些信息对特征表示的干扰。
• 实验结果指向 ViT 的替代可能：作者在图像分类基准上报告 VisionScreen 优于传统 ViT，说明筛选式聚合在视觉任务中具备探索价值。

意义与影响

这项工作的意义不在于简单替换一个注意力模块，而在于重新讨论视觉 token 之间“相关性”的定义。传统自注意力更像是在所有候选 patch 中进行相对分配；VisionScreen 则尝试引入一种更接近“是否纳入”的判断方式。对于包含大量背景或冗余区域的图像，这种机制可能更符合视觉识别的需求。

当然，论文目前标注为探索性研究，摘要中也没有展开更细的实验设置、规模对比或计算开销分析。因此，它更适合被视为一个架构方向信号：在 ViT 之后，视觉模型的改进不一定只围绕更大的模型、更复杂的注意力变体，也可以从“如何拒绝无关信息”这一角度切入。

如果后续研究能进一步验证其在更大数据集、更复杂视觉任务以及效率指标上的表现，Screening 机制或许会成为视觉 Transformer 之外的重要补充思路。

来源：arXiv