FM²：異種マルチモーダル医用画像に向けた連合型基盤モデル

導入

医用画像向けの基盤モデルを強化するには、多施設・多装置・多疾患にまたがるデータが重要になる。一方で、患者情報を含む医療データはプライバシー規制や倫理審査の対象であり、単純に一カ所へ集めて学習することは難しい。arXiv 論文「FM²: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging」は、この制約のもとでマルチモーダル医用画像モデルを訓練するための連合学習フレームワークを提案している。

特徴的なのは、単に「データが各病院に分散している」問題として扱わない点だ。現実の医療機関では、ラベル分布だけでなく、保有する画像モダリティそのものが異なることが多い。ある施設は他施設と同じモダリティを持つが疾患分布が異なり、別の施設はまったく別のモダリティしか持たないかもしれない。FM² はこの画像モダリティの異質性を、連合型基盤モデルの中心課題として定義している。

核心ポイント

• 二つの異質性設定：論文は Overlapped と Non-overlapped を区別する。前者は共有モダリティがあるがラベル分布が異なる場合、後者はクライアント間でモダリティが完全に分かれている場合を指す。
• 医療ドメインに合わせた backbone：FM² は自然画像モデルの微調整だけに頼らず、医用画像への忠実性を保つために中核 backbone をゼロから訓練する方針を取る。同時に、生物医学系の事前学習エンコーダを視覚・言語整合に利用できる。
• 二重の MoE 構造：各クライアントに Class-wise MoE と Domain-wise MoE を用意する。前者はカテゴリごとの個別知識、後者はモダリティ横断で共有可能な表現を担う。
• 異種モダリティ整合：Heterogeneous Modality Alignment により、モダリティ固有の expert パラメータを明示的にそろえる。論文では収束および汎化に関する保証も示されている。
• キャプションを橋渡しに使う：Caption-Enhanced Learning では、ローカルに保持された GPT-4o 生成キャプションをテキスト意味表現として利用し、モダリティが重ならないクライアント間の表現移転を支援する。医用 VQA への拡張も示されている。

意義と影響

FM² の意義は、医療連合学習をより現実に近い形で捉え直した点にある。病院ごとに撮像装置、検査プロトコル、画像モダリティ、患者集団、アノテーションの粒度は異なる。すべての参加者が同じ種類のデータを持つという前提では、実臨床での難しさを十分に反映できない。

専門家モジュール、モダリティ整合、テキストによる意味的橋渡しを組み合わせることで、FM² はプライバシーを守りながら異なる医用画像データから共通表現を学ぶ道筋を示している。著者らは MIMH ベンチマークと実世界の医用 VQA データセットで、既存の連合学習手法より一貫して優れた性能を示したと報告している。

ただし、実際の病院ネットワークで使うには、キャプション生成の品質管理、ローカル計算資源、施設間契約、監査可能性、臨床的妥当性の検証が不可欠だ。それでも、ACM MM 2026 メイントラック採択論文として、FM² は医療 AI における次の課題が単なる大規模化ではなく、分断され異質なデータ環境でどう協調学習するかにあることを示している。

出典：arXiv