FM²：面向异构多模态医学影像的联邦基础模型框架

导语

医学影像基础模型的一个核心矛盾是：越强的模型往往越依赖跨机构、跨设备、跨疾病场景的大规模数据；但在现实医疗环境中，数据又受到隐私法规、伦理审查和机构边界的严格限制，难以直接集中到同一个训练池。arXiv 论文《FM²: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging》正是围绕这一矛盾展开，提出一个面向异构多模态医学影像的联邦基础模型框架。

与一般只讨论“数据不能出院”的联邦学习不同，论文强调了一个更细的问题：不同客户端不仅标签分布不同，拥有的影像模态也可能不同。例如，一些机构可能有相似模态但疾病类别分布不均；另一些机构则可能各自持有完全不同的模态。这种“影像模态异质性”会直接影响表示学习与跨机构迁移。

核心要点

• 两类异构场景：作者将客户端关系分为 Overlapped 与 Non-overlapped。前者指机构之间存在共享影像模态，但标签分布存在差异；后者指不同客户端持有完全不重叠的影像模态，跨模态迁移更困难。
• 从医学域重新训练骨干网络：FM² 主张核心 backbone 从头训练，以保持医学影像域的适配性，而不是简单微调自然图像模型；同时也允许接入生物医学预训练编码器，用于视觉—语言对齐。
• 双 MoE 设计：框架为每个客户端配置两类 Mixture-of-Experts。Class-wise MoE 更偏向个性化类别知识，Domain-wise MoE 则用于学习可共享的跨模态表示。
• 异构模态对齐：论文提出 Heterogeneous Modality Alignment 正则项，用来显式对齐模态相关专家参数，并给出收敛与泛化保证。
• 文本作为语义桥梁：Caption-Enhanced Learning 使用本地保留的 GPT-4o 生成说明作为文本语义桥，帮助在模态不重叠的客户端之间传递表征信息，并扩展到联邦医学 VQA。

意义与影响

FM² 的价值在于，它没有把医疗联邦学习简化为“同一种数据分散在多家医院”，而是更接近真实世界：医院能力、设备类型、影像模态和标注任务都可能不同。通过专家模块与文本桥接机制，论文尝试在隐私不出域的前提下，让不同模态之间形成可迁移的共享表示。

当然，摘要层面还无法判断其在真实临床流程中的部署难度，例如本地生成 caption 的质量控制、跨机构协议、计算资源与监管审计等问题仍需进一步验证。但作为一项被 ACM MM 2026 主会接收的研究，FM² 为“隐私保护下的多模态医学基础模型”提供了一个更系统的建模方向，也提示未来医疗 AI 的竞争焦点可能不只是模型规模，而是如何在碎片化、异构化的数据现实中完成协同学习。

来源：arXiv