AspectCLIP：让 CLIP 学会区分图文对齐中的“不同侧面”

导语

CLIP 类模型的核心，是把图像和文本映射到同一个表示空间中，让“看到的内容”和“描述的语言”能够互相检索、互相对齐。过去不少改进方法会加入一致性正则，希望让相似样本在空间中保持更稳定的几何关系。但 AspectCLIP 这篇论文提醒我们：图像和文本之间并不是天然对称的。一张图像可能包含人物、背景、动作、风格、物体关系等多个层面，而一段 caption 往往只描述其中一个侧面。

这意味着，两张视觉上很接近的图片，配套文本却可能强调完全不同的信息。如果仍然用全局一致性约束把它们强行拉到一起，就可能把不该混合的语义揉在一起，影响表示空间的清晰度。

核心要点

• 问题切入点：图文信息不对称
  论文认为，传统 CLIP 训练中的一致性正则常把“视觉相似”视为足够可靠的对齐依据。但在真实数据中，文本描述经常只覆盖图像的某个属性或语义片段，因此视觉近邻未必是语义近邻。

• 从全局一致性转向侧面一致性
  AspectCLIP 的关键思路，是承认图像到文本存在“一对多”的描述结构。模型不再对所有视觉相似样本施加同等强度的几何约束，而是先判断样本是否在文本语义上关注同一类属性。

• 基于文本相似性的属性聚类
  方法首先利用文本相似性将训练样本划分为不同属性簇。簇内样本被视为描述侧面较一致，因此可以应用更强的循环一致性约束；簇间样本则不再直接进行细粒度强绑定。

• 跨簇只保留原型级比较
  对于不同属性簇之间的关系，AspectCLIP 将正则限制在原型层面，避免将关注不同语义侧面的样本逐个强行对齐。这为表示空间保留了必要弹性。

意义与影响

AspectCLIP 的价值不在于提出一个更复杂的对齐目标，而在于重新审视多模态学习中的一个基础假设：图像相似并不等于文本语义一致。对于大规模互联网图文数据来说，这一点尤其重要，因为 caption 的写法往往稀疏、主观且不完整。

如果该思路能够在更多数据规模和模型架构上得到验证，它可能为下一代视觉-语言预训练提供一种更细粒度的正则化方向：不是简单追求全局空间的整齐，而是让模型知道什么时候该严格对齐，什么时候应该保留多义性。论文称，AspectCLIP 在下游任务中相较传统方法表现更好，并得到更有结构的表示空间。这也说明，在多模态模型中处理“同图多义”和“描述偏置”，可能会成为提升泛化能力的重要路径。

来源：arXiv