보고서가 있으면 의료 VLM은 정말 영상을 보고 있을까

들어가며

의료 비전언어 모델은 X선 영상과 임상 질문, 방사선 판독 보고서를 함께 처리할 수 있습니다. 하지만 보고서에 이미 필요한 소견이 적혀 있다면 모델은 영상을 세밀하게 분석하지 않고도 정답처럼 보이는 답변을 만들 수 있습니다. 따라서 최종 답변이 맞았다는 사실만으로 모델이 실제 영상을 활용했다고 보기는 어렵습니다.

Hugging Face Daily Papers에 소개된 ModaLens는 이 문제를 영상 교체 실험으로 조사합니다. 질문과 보고서는 그대로 유지하고 영상만 다른 검사 영상으로 바꾼 뒤, 모델의 답변이 함께 변하는지를 측정합니다.

평가 방식

주요 실험은 MedGemma-27B를 대상으로 MIMIC-CXR의 쌍별 사례 3,199개를 사용했습니다. 사례는 293명의 환자에게서 구성됐고, 각 사례마다 14개의 질문을 적용했습니다. 13개는 특정 소견에 관한 질문이며, 하나는 여러 소견을 묻는 종합 질문입니다. 연구진은 원래 질문과 보고서를 고정한 뒤 영상을 다른 검사 영상으로 교체했습니다. 교체 영상은 대부분 같은 환자의 다른 검사에서 가져와 환자 정체성과 전반적인 병력 차이의 영향을 줄였습니다.

보고서가 제공되는 조건과 제공되지 않는 조건을 비교하고, 영상 교체 후 생성된 답변이 바뀌는 비율을 기록했습니다. 이진 답변이 뒤집히지 않더라도 연속적인 답변 점수가 움직이는지도 별도로 확인했습니다.

주요 결과

• 명시적인 답변 지시를 사용했을 때, 보고서가 있으면 영상 교체 후 답변 변화율은 4.26%였습니다.
• 보고서가 없으면 20.94%로 높아졌고, 쌍별 차이는 16.7%포인트였습니다. 환자 단위로 군집화한 95% 신뢰구간은 15.6~17.7%포인트였습니다.
• 원래 프롬프트와 소문자 첫 토큰을 읽는 방식에서도 보고서가 있을 때 4.70%, 없을 때 17.07%로 같은 방향이 나타났습니다.
• 이진 답변이 그대로인 경우에도 영상 교체가 연속 점수를 바꿀 수 있었습니다. 단순한 정답 레이블 변화만으로는 영상의 영향을 과소평가할 수 있다는 뜻입니다.
• 같은 방향의 결과는 추가로 평가한 두 모델 계보에서도 재현됐지만, 제공된 초록에는 구체적인 수치가 제시되지 않았습니다.

의미와 한계

이 프로토콜에서는 보고서가 제공될 때 모델의 영상 교체 민감도가 낮아졌습니다. 보고서가 강력한 언어적 지름길을 제공해 모델이 현재 영상보다 텍스트에 의존해 답변할 수 있기 때문이라고 해석할 수 있습니다. 그러나 이것이 모델이 영상을 완전히 무시한다는 뜻은 아니며, 임상적으로 반드시 신뢰할 수 없다는 결론도 아닙니다.

가장 중요한 한계는 평가 라벨이 방사선 보고서에서 만들어졌다는 점입니다. 따라서 ModaLens가 직접 측정하는 것은 영상을 바꿨을 때 모델 출력이 변하는지 여부이지, 모델의 시각적 의학 판단이 실제로 정확한지는 아닙니다. 프롬프트 형식, 출력 해석 방식, 모델 구조, 영상 쌍의 구성도 측정값에 영향을 줄 수 있습니다.

ModaLens의 의의는 멀티모달 모델이 어떤 근거를 사용하는지를 반복 가능한 감사 문제로 바꿨다는 데 있습니다. 의료 AI 평가에서는 정확도만 확인할 것이 아니라, 영상 교체에 대한 반응과 연속 점수의 변화, 독립적인 시각 라벨을 함께 검토해야 합니다. 그래야 보고서와 일치하는 답변과 실제 영상 기반 추론을 더 잘 구분할 수 있습니다.

출처: Hugging Face Daily Papers