SentZero：让胸部X光零样本分析更懂放射科语言

导语

胸部X光（CXR）视觉语言预训练通常依赖影像与放射科报告这一对天然的多模态数据。理想情况下，模型可以直接理解一张影像与一句临床描述之间的关系，并通过自然语言提示完成疾病筛查、影像分类等任务。然而，真实报告往往包含多个发现、否定描述、比较结果和临床背景，篇幅长且语义密集。将整份报告直接对齐到一个简单提示，容易削弱零样本推理效果。

SentZero关注的正是这一问题。论文提出一种增强型句子中心视觉语言预训练框架，目标是提升胸部X光的多任务零样本分析能力。

核心要点

• 从报告级别转向句子级语义组织：现有句子级方法通常借助大语言模型抽取临床短语，但未充分利用放射科文本自身的表达规律。SentZero进一步使用大语言模型进行抽象层面的句子结构化与映射，使不同表述能够围绕更稳定的临床语义建立联系。
• 扩大正样本配对的多样性：如果训练只依赖原始报告中的句子，图像与文本之间的有效配对数量和表达变化都可能有限。新的结构化映射为同一影像关联更多语义上合理的句子，缓解正样本单一带来的学习瓶颈。
• 减少对比学习中的假负样本：不同患者的报告中可能反复出现临床上等价的句子。传统对比学习若将这些样本一律视作负例，反而会拉开本应接近的图文表示。SentZero增加额外损失项，用于降低这类错误负样本的影响。
• 让视觉特征随句子语义变化：框架引入句子条件化的视觉嵌入残差调制，使同一视觉输入在面对不同句子时，可以根据句子的语义特征调整表示，而不是始终使用完全固定的视觉向量。

意义与影响

SentZero的价值不只是把长报告切成更短的句子，而是尝试重新定义图文对齐中的“正例”和“负例”。在医学影像场景中，语义等价不一定意味着字面相同；相反，表面相似的句子也可能因否定词、部位或程度差异而表达不同结论。因此，利用放射科话语结构进行组织，并在训练目标中处理语义重复，有助于让对比学习更贴近临床语言的实际特征。

从应用角度看，零样本能力可以降低为每个疾病或任务单独准备标注数据并进行微调的依赖。论文称，SentZero在多个下游任务和数据集上改善了零样本泛化，并优于此前的多任务零样本方法。不过，素材未提供具体数据、任务清单或消融结果，因此这些结论仍应结合论文全文中的实验设置和统计结果理解。总体而言，该工作为医学视觉语言模型从“报告匹配”走向“细粒度临床语义理解”提供了一个值得关注的方向。

来源：Hugging Face Daily Papers