看对心脏，却看错时间：一项对超声心动图 EF 模型解释性的审计

导语

在医学影像 AI 中，“模型看向哪里”常被用来判断系统是否可信。对于超声心动图中的左心室射血分数（EF）估计，深度视频模型已经能达到接近专家的表现，研究者也常用 Grad-CAM、Transformer relevance 等事后归因方法，展示模型似乎关注了正确的解剖区域。但这篇 arXiv 论文提出了一个更尖锐的问题：模型不仅要看对位置，还要看对时间。

EF 的定义依赖两个关键时刻：舒张末期（ED）和收缩末期（ES）。如果一个视频模型的解释只显示它关注左心室，却无法说明它是否抓住了这两个决定性帧，那么这种解释的可信度就并不完整。

核心要点

• 研究对象包括两类 EF 回归模型：自监督 VideoMAE Transformer，以及在 Kinetics 上预训练的 R(2+1)D CNN，均在 EchoNet-Dynamic 数据集上微调。
• 论文分别采用与模型架构匹配的解释方法：Transformer 使用 Chefer relevance，CNN 使用 Grad-CAM。
• 审计维度包括三项：归因结果与左心室掩码的重合程度、删除实验 AUC，以及对 ES/ED 关键帧的时间定位能力。
• 结果显示，两个模型在空间上“看对了”：VideoMAE 的 IoR 达到随机基线的 2.91 倍，R(2+1)D 为 1.98 倍。
• 但在时间上，模型几乎没有优先定位 ES/ED 帧，时间定位指标约为 0.97 到 1.00，和随机归因没有明显差异。
• 研究还通过 tubelet 遮挡实验区分“解释方法失效”和“模型行为本身如此”。结果显示，模型对 ES/ED 的依赖并不高，约为随机水平的 0.90 倍。

意义与影响

这项研究的重要提醒在于：医学视频模型的可解释性不能只做空间审计。对于静态影像任务，热力图是否覆盖病灶区域可能已经很有参考价值；但在视频诊断中，时间信息往往同样关键。一个模型可能在每一帧都大致关注正确的器官，却没有真正依赖临床定义中最关键的时刻。

这也意味着，单纯展示“模型关注了左心室”的可视化结果，可能会给临床验证带来过度信心。尤其在 EF 估计这类有明确生理时间点的任务中，解释方法需要同时回答两个问题：模型看的是不是正确结构，以及它是否在正确时间作出判断。

论文的结论并不是否定 Grad-CAM 或 Transformer 归因工具，而是指出现有验证方式过于偏重空间维度。未来的视频医学 AI 训练和评估，可能需要加入时间感知约束、关键帧监督或更严格的时序遮挡测试。对开发者而言，这项工作说明“解释看起来合理”并不等于“模型推理过程符合临床逻辑”。

来源：arXiv