胸片多模态分类评测：临床指征有用，报告文本也可能“泄题”

导语

胸部 X 光 AI 常被包装成“图像理解”任务，但真实数据集里往往不只有图像，还包含 Clinical Indication、Findings、Impression 等报告字段。问题在于，这些文本并不处在同一时间点：临床指征通常在检查前或检查时给出，而 Findings 和 Impression 则是放射科医生阅片后写下的结果。把它们混在一起训练，可能让模型提前看到答案。

这篇 arXiv 论文围绕 15,000 个 ReXGradient-160K 检查展开，每个检查包含两张可读图像，并以 CheXbert 派生的 5 个报告观察作为标签。作者使用冻结的 DenseNet-121 图像编码器和 Bio+ClinicalBERT 文本编码器，比较了单图像、双图像、仅临床指征、固定顺序多模态融合、随机交换、DeepSets 与 SectionGuard-MI 等方案。

核心要点

• 双图像比单图像更强：在 U-Ones 设置下，主图像宏平均 AUROC 为 0.643，两张图像提升到 0.694，说明多视角胸片确实提供额外信息。
• 临床指征本身信息量很大：仅使用 Indication 的 AUROC 达到 0.749，明显高于图像-only 结果，表明医生开检查时写下的背景信息与最终报告标签高度相关。
• 前瞻性融合继续提升：普通“两图像 + Indication”融合 AUROC 为 0.780。SectionGuard-MI 为 0.783，AUROC 增益并不显著，但 AUPRC 相比普通融合提高 0.0289，调整后 p=0.004。
• 置换感知设计值得关注：DeepSets 获得最高的前瞻性 AUROC 点估计 0.787；随机交换融合取得最高的前瞻性 AUPRC 点估计 0.265，并且校准优于 SectionGuard-MI。
• 报告文本存在强泄漏：报告全文单独输入时 AUROC 达 0.979、AUPRC 达 0.836；即使进行精确或扩展遮蔽，AUROC 仍高于 0.973。这提示 Findings、Impression 与由报告抽取的标签之间可能形成循环。

意义与影响

这项研究的价值不在于提出一个压倒性的新模型，而在于把胸片多模态评测中的“时间边界”说清楚。临床指征是可前瞻使用的信息，加入它更接近真实临床流程；但报告正文属于阅片后的产物，用它来预测从报告中抽取的标签，容易把模型性能高估为医学理解能力。

对后续研究而言，数据划分也同样重要。论文使用患者聚类 bootstrap 估计公开测试不确定性，强调同一患者相关样本不能被当作完全独立样本处理。对于医疗 AI 评测，模型结构、输入时间点和统计置信度需要一起报告，否则一个看似漂亮的 AUROC 可能只是数据泄漏的结果。

来源：arXiv