심장은 보지만, 순간은 놓친다: 심초음파 EF 모델 설명성 감사

도입

의료영상 AI에서 히트맵은 모델이 신뢰할 만한지 판단하는 흔한 단서로 쓰인다. 모델이 병변이나 장기처럼 “맞는 곳”을 보고 있다면, 예측도 더 그럴듯하다고 여겨진다. 심초음파 영상으로 좌심실 박출률(EF)을 추정하는 비디오 모델에서도 Grad-CAM이나 Transformer relevance 같은 사후 귀인 기법이 모델의 해부학적 타당성을 보여주는 도구로 활용된다.

하지만 이 arXiv 논문은 그 검증 방식이 충분하지 않다고 지적한다. EF는 단순히 좌심실을 봤는지만으로 정의되지 않는다. 핵심은 심장 주기에서 이완말기(ED)와 수축말기(ES)라는 결정적 시점이다. 따라서 충실한 설명은 공간적으로 맞아야 할 뿐 아니라 시간적으로도 맞아야 한다.

핵심 내용

• 연구진은 EchoNet-Dynamic 데이터셋에서 두 가지 EF 회귀 모델을 미세조정했다. 하나는 자기지도학습 기반 VideoMAE Transformer, 다른 하나는 Kinetics로 사전학습한 R(2+1)D CNN이다.
• 귀인 방법은 모델 구조에 맞춰 적용했다. Transformer에는 Chefer relevance를, CNN에는 Grad-CAM을 사용했다.
• 평가는 세 축으로 이뤄졌다. 좌심실 마스크와 귀인 영역의 겹침, deletion AUC, 그리고 ES/ED 프레임에 대한 시간적 위치 파악이다.
• 공간적으로는 두 모델 모두 그럴듯했다. VideoMAE의 IoR은 우연 기준의 2.91배, R(2+1)D는 1.98배였다.
• 그러나 시간적으로는 달랐다. 시간 위치 지표는 0.97~1.00 수준으로 우연과 구분하기 어려웠고, 무작위 귀인보다 낫지 않았다.
• tubelet 가림 실험은 이 문제가 단순히 설명 기법의 실패가 아님을 시사했다. 모델 자체가 ES/ED 프레임을 우선적으로 의존하지 않았으며, 해당 결과는 우연 수준의 0.90배로 보고됐다.

의미와 영향

이 연구의 핵심 메시지는 공간적 충실성이 시간적 충실성을 보장하지 않는다는 것이다. 정지 영상 진단에서는 히트맵이 병변이나 장기를 잘 덮는지만 봐도 어느 정도 의미가 있다. 그러나 비디오 진단에서는 “어디를 보는가”만큼 “언제 보는가”가 중요하다.

EF 추정 모델이 좌심실을 계속 바라본다고 해도, 임상의가 중요하게 보는 ED/ES 시점에 근거해 판단한다고 말할 수는 없다. 이는 설명가능 AI 기반 검증이 과도한 신뢰를 줄 수 있음을 보여준다. 보기에는 합리적인 히트맵이 실제로는 시간적으로 부정확한 추론을 가릴 수 있기 때문이다.

논문은 Grad-CAM이나 Transformer 귀인 기법 자체를 폐기하자는 주장을 하지는 않는다. 대신 의료 비디오 AI를 평가할 때 해부학적 위치뿐 아니라 시간적 충실성도 함께 감사해야 한다고 말한다. 앞으로는 시간 인식 평가 지표, 표적 가림 테스트, 임상적으로 의미 있는 프레임을 활용하도록 유도하는 학습 방식이 더 중요해질 수 있다.

출처: arXiv