흉부 X선 멀티모달 평가: 임상 적응증은 도움이 되지만 보고서 텍스트는 정답 누출이 될 수 있다

도입

흉부 X선 AI는 흔히 이미지 분류 문제로 설명되지만, 실제 데이터셋에는 이미지 외의 정보가 함께 들어가는 경우가 많다. Clinical Indication, Findings, Impression, 그리고 한 검사에 포함된 여러 장의 영상이 대표적이다. 핵심은 이 정보들이 같은 시점에 만들어지지 않는다는 점이다. Clinical Indication은 검사 전이나 검사 시점에 주어지는 경우가 많지만, Findings와 Impression은 영상 판독 뒤에 작성되는 결과물이다.

이번 arXiv 논문은 바로 이 시간적 경계를 평가의 중심에 놓았다. 연구진은 두 장의 읽을 수 있는 영상을 가진 ReXGradient-160K 15,000건과 CheXbert에서 파생한 5개 보고서 관찰 라벨을 사용했다. 모델은 동결된 DenseNet-121 영상 인코더와 Bio+ClinicalBERT 텍스트 인코더를 기반으로 했으며, 영상 단독, Clinical Indication 단독, 고정 순서 멀티모달 융합, 랜덤 스왑, DeepSets, SectionGuard-MI를 비교했다. Findings와 Impression은 전향적으로 사용 가능한 입력이 아니라 사후 누출을 확인하기 위한 대조군으로만 평가됐다.

핵심 내용

• 두 장의 영상은 한 장보다 낫다: U-Ones 설정에서 주 영상만 사용한 경우 매크로 AUROC는 0.643이었고, 두 장의 영상을 사용하면 0.694로 올랐다. 여러 뷰가 보완 정보를 제공한다는 점을 보여준다.
• Clinical Indication은 강한 신호다: Indication만 사용해도 AUROC 0.749를 기록해 영상 단독 기준선을 넘어섰다. 검사를 의뢰한 이유와 최종 보고서 기반 라벨 사이에 강한 연관이 있음을 시사한다.
• 전향적 융합은 성능을 더 높인다: 일반적인 “두 영상 + Indication” 융합은 AUROC 0.780을 보였다. SectionGuard-MI는 AUROC 0.783, AUPRC 0.260을 기록했다. 일반 융합 대비 AUROC 차이는 작고 유의하지 않았지만, AUPRC 차이는 0.0289였고 조정 p값은 0.004로 보고됐다.
• 순서에 덜 민감한 설계도 경쟁력이 있다: DeepSets는 전향적 조건에서 가장 높은 AUROC 점추정치인 0.787을 얻었다. 랜덤 스왑 융합은 전향적 AUPRC 점추정치 0.265로 가장 높았고, SectionGuard-MI보다 보정 성능도 나았다.
• 보고서 텍스트는 큰 누출 위험이다: 보고서 전문만으로 AUROC 0.979, AUPRC 0.836에 도달했다. 정확 마스킹이나 확장 마스킹 후에도 AUROC는 0.973 이상으로 유지되어, 보고서 텍스트와 보고서 유래 라벨 사이의 순환성이 드러났다.

의미와 영향

이 연구의 가치는 단일 모델의 승패보다 의료 멀티모달 AI 평가에서 입력의 “사용 가능 시점”을 분리했다는 데 있다. Clinical Indication은 실제 임상 흐름에서 전향적으로 사용할 수 있는 맥락 정보다. 반면 Findings와 Impression은 판독 이후 만들어지므로, 이를 사용해 보고서에서 추출한 라벨을 예측하면 모델이 이미 정답에 가까운 정보를 본 셈이 될 수 있다.

논문은 또한 환자 클러스터 부트스트랩으로 공개 테스트 불확실성을 추정했다. 같은 환자에서 나온 샘플을 완전히 독립적인 사례처럼 다루면 평가가 과신될 수 있다는 점도 중요하다. 의료 AI에서 높은 AUROC는 그 자체로 충분한 증거가 아니다. 어떤 입력을 언제 사용할 수 있는지, 라벨이 어떻게 만들어졌는지, 불확실성이 어떻게 추정됐는지를 함께 봐야 한다.

출처: arXiv