冻结模型也能持续进化：FMEE让多模态医疗AI从部署经验中学习

导语

医疗人工智能面临一个现实难题：模型上线后通常被冻结，但临床证据、诊疗指南和治疗方案仍在持续变化。重新训练模型能够更新能力，却需要访问参数、准备数据并承担较高成本；只依赖提示词或文本记忆，又可能过度适应固定验证集，甚至丢失医学影像中的关键视觉细节。

论文《Frozen Models, Evolving Expertise》提出了 FMEE（Frozen Models, Evolving Expertise），试图在不改动基础模型参数的前提下，让已经部署的LLM和VLM持续吸收实践经验。

核心要点

• 把学习对象从参数转向外部能力。 FMEE不对基础模型做微调，而是维护三类可更新的外部专家资源，使方法能够适配不同的语言模型和视觉语言模型。
• Skill负责形成可复用的工作流程。 它以自然语言描述推理步骤、工具使用方式和任务处理策略，并在每批部署案例后根据表现进行改写。
• Knowledge Memory保存可验证事实。 记忆内容来自此前案例或PubMed等可信外部来源，目标是沉淀能在后续任务中复用的医学知识，而不是简单保存模型曾经生成的答案。
• MMKB保留视觉经验。 多模态知识库保存带有来源答案的视觉参考案例。模型检索案例后，需要将参考图像与当前图像进行比较，避免把影像经验压缩成纯文本后失去视觉线索。
• 更新需要通过新旧案例检验。 每轮处理完成后，优化器根据已评分的执行轨迹提出更新方案。只有当更新能改善新案例、同时不损害过去案例上的表现时，方案才会被保留。

实验与意义

研究覆盖临床诊断、临床工作流、医学推理，以及医学和非医学视觉推理等六项基准，并使用四种开放权重或闭源基础模型进行测试。论文摘要显示，FMEE在医疗任务上相较基础模型最高提升34.2%，说明外部经验管理不仅可以用于文字推理，也能帮助视觉语言模型利用过往图像案例。

这项工作的价值不在于宣称“冻结模型已经完成自我训练”，而在于提供了一条介于微调和静态提示之间的路线：模型参数保持不变，部署系统却可以围绕技能、事实和视觉案例逐步演化。对于医疗应用而言，这种设计还带来一定的可追溯性，因为知识记忆与视觉参考案例能够保留来源。

当然，外部记忆的可靠性、案例检索质量、错误知识的传播，以及在线验证标准，仍会直接影响系统安全。FMEE的验证机制能够降低更新造成的退化风险，但不能替代临床审核和严格的安全评估。更准确地说，它展示的是一种让冻结模型“持续获得经验”的系统工程方案，而不是对模型本体进行永久性知识更新。

来源：Hugging Face Daily Papers