FM²: 이기종 멀티모달 의료영상 연합 기반모델 프레임워크

도입

의료영상 기반모델을 잘 만들려면 여러 병원, 장비, 질환군을 아우르는 데이터가 필요하다. 하지만 의료 데이터는 개인정보 보호 규제와 윤리적 제약을 받기 때문에, 환자 데이터를 한곳에 모아 학습시키는 방식은 현실적으로 어렵다. arXiv 논문 “FM²: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging”은 이런 조건에서 멀티모달 의료영상 모델을 학습하기 위한 연합학습 프레임워크를 제안한다.

이 논문이 주목하는 지점은 단순한 데이터 분산이 아니다. 실제 의료기관들은 라벨 분포만 다른 것이 아니라, 보유한 영상 모달리티 자체가 다를 수 있다. 어떤 기관은 다른 병원과 같은 모달리티를 갖고 있지만 질환 분포가 다르고, 또 다른 기관은 완전히 다른 모달리티만 보유할 수도 있다. FM²는 이러한 ‘영상 모달리티 이질성’을 연합 기반모델의 핵심 난제로 다룬다.

핵심 내용

• 두 가지 이질성 설정: 저자들은 Overlapped와 Non-overlapped 환경을 구분한다. 전자는 기관 간 공유 모달리티가 있지만 라벨 분포가 다른 경우이고, 후자는 클라이언트별 모달리티가 완전히 분리된 경우다.
• 의료 도메인에 맞춘 backbone 학습: FM²는 자연 이미지 모델을 단순 미세조정하는 대신, 의료영상 도메인 적합성을 유지하기 위해 핵심 backbone을 처음부터 학습하는 방식을 택한다. 필요할 경우 생의학 사전학습 인코더를 시각-언어 정렬에 활용할 수 있다.
• 이중 MoE 구조: 각 클라이언트에는 Class-wise MoE와 Domain-wise MoE가 배치된다. 전자는 개인화된 범주 지식을 담당하고, 후자는 모달리티를 넘나드는 공유 표현을 학습하는 역할을 한다.
• 이기종 모달리티 정렬: Heterogeneous Modality Alignment 정규화 항은 모달리티별 expert 파라미터를 명시적으로 정렬한다. 논문은 수렴과 일반화에 대한 보장도 함께 제시한다.
• 텍스트를 의미적 다리로 활용: Caption-Enhanced Learning은 로컬에 보관된 GPT-4o 생성 캡션을 텍스트 의미 표현으로 사용해, 모달리티가 겹치지 않는 클라이언트 간 표현 이전을 돕는다. 이 접근은 연합 의료 VQA로도 확장된다.

의미와 영향

FM²의 의의는 의료 연합학습을 더 현실적인 문제로 재정의했다는 데 있다. 병원마다 촬영 장비, 검사 프로토콜, 영상 모달리티, 환자군, 주석 체계가 다르다. 모든 참여자가 같은 종류의 데이터를 갖고 있다는 가정은 실제 임상 환경의 복잡성을 충분히 반영하지 못한다.

FM²는 expert 라우팅, 모달리티 정렬, 텍스트 기반 의미 연결을 결합해, 원본 데이터를 중앙에 모으지 않고도 서로 다른 의료영상 데이터에서 공유 표현을 학습하는 방법을 제시한다. 저자들은 자체 MIMH 벤치마크와 실제 의료 VQA 데이터셋에서 최신 연합학습 기준선보다 일관되게 우수한 성능을 보였다고 보고한다.

다만 실제 병원 네트워크에 적용하려면 캡션 생성 품질 관리, 로컬 연산 비용, 기관 간 협약, 감사 가능성, 임상 검증 같은 과제가 남아 있다. 그럼에도 ACM MM 2026 메인트랙에 채택된 이 연구는 의료 AI의 다음 과제가 단순히 더 큰 모델을 만드는 것이 아니라, 분절되고 이질적인 데이터 환경에서 어떻게 협력 학습을 할 것인가에 있음을 보여준다.

출처: arXiv