OCP-CT: 장기 조건 방사선 패턴 token으로 CT-보고서 정렬을 세분화

도입

CT 시각-언어 사전학습은 의료 현장에서 이미 생성되는 CT 볼륨과 영상의학 보고서 쌍을 활용할 수 있다는 점에서 매력적이다. 모든 사례에 정교한 수작업 라벨을 붙이지 않아도, 영상과 텍스트의 대응 관계를 통해 모델이 의학적 표현을 학습할 수 있기 때문이다. 그러나 CT는 일반적인 2D 이미지보다 훨씬 복잡하다. 하나의 스캔에는 여러 장기가 포함되고, 이상 소견은 위치와 형태가 다양하며, 보고서는 이를 임상적으로 압축해 서술한다.

기존 방법은 대체로 전체 CT 스캔과 전체 보고서를 하나의 쌍으로 놓고 대조학습을 수행했다. 이 방식은 확장성과 안정성이 있지만, 특정 장기에서 관찰되는 증거가 보고서의 어떤 표현과 연결되는지 흐려질 수 있다. 그렇다고 단순히 장기 수준으로만 맞추는 것도 충분하지 않다. 같은 장기라도 서로 다른 방사선학적 양상이 나타날 수 있기 때문이다.

arXiv 논문 “Fine-Grained Vision-Language Pretraining with Organ-Conditioned Pattern Tokens for CT Understanding”는 이러한 한계를 해결하기 위해 OCP-CT를 제안한다. 핵심은 정렬 단위를 전체 스캔이나 단순 장기가 아니라, 장기 조건 방사선 패턴으로 세분화하는 것이다.

핵심 내용

• 전역 대조 분기 유지: OCP-CT는 기존의 CT-보고서 전역 대조학습을 버리지 않는다. 전체 의미 정렬과 학습 안정성을 위한 기반으로 유지한다.
• 장기 패턴 인터페이스 도입: 전역 분기 위에 이미지 token과 텍스트 token을 잠재 방사선 패턴에 따라 조직화하는 세밀한 모듈을 추가한다.
• Sparse MoE 라우팅: sparse Mixture-of-Experts가 token을 잠재 패턴에 맞는 전문가 경로로 보내 서로 다른 증거가 하나의 표현에 과도하게 섞이는 문제를 줄인다.
• 학습 가능한 slot으로 pattern token 생성: slot은 라우팅된 token에서 정보를 질의해 영상 측과 텍스트 측의 연속적인 pattern token을 만든다.
• Paired token contrast 정렬: 이미지와 텍스트의 pattern token은 보고서에서 유도한 임상적 유사성 기반 soft target을 사용해 정렬된다.

보고된 성능

논문은 공개 벤치마크인 CT-RATE와 RAD-ChestCT에서 제로샷 이상 진단 성능을 평가했다. 초록에 따르면 OCP-CT는 두 데이터셋에서 각각 평균 AUROC 84.5%와 69.9%를 달성했다. 저자들이 언급한 가장 강한 기존 보고 결과와 비교하면, 절대 AUROC 기준으로 각각 6.7%포인트와 0.8%포인트 향상이다.

이 결과가 주목되는 이유는 평가가 제로샷 설정이라는 점이다. 의료 영상에서는 병원, 데이터셋, 보고서 스타일에 따라 라벨 체계와 이상 소견 정의가 달라진다. 따라서 사전학습 단계에서 더 구조적인 영상-텍스트 대응을 학습한 모델은 새로운 진단 설정으로 전이될 가능성이 커진다.

의미와 영향

OCP-CT가 던지는 메시지는 분명하다. 의료 멀티모달 AI에서 중요한 것은 데이터 규모만이 아니라, 어떤 단위로 영상과 언어를 맞출 것인가이다. 전체 스캔-보고서 대조학습은 유용하지만, CT 판독은 본질적으로 장기, 소견 패턴, 임상 맥락의 조합이다. 장기 조건 패턴을 명시적으로 모델링하는 접근은 실제 판독 과정에 더 가까운 표현학습으로 이어질 수 있다.

다만 현재 이 연구는 arXiv 프리프린트이며, 독립적인 재현과 더 넓은 임상 과제에서의 검증이 필요하다. 그럼에도 전역 정렬의 안정성과 세밀한 패턴 정렬을 결합한 방향은 CT 기반 모델이 더 정교한 진단 보조 능력으로 나아가기 위한 중요한 단서가 될 수 있다.

출처: arXiv