MMedAgent-Plus：让多模态医疗智能体学会协同调用专科模型

2026年10月22日阅读约 3 分钟

导语

医学人工智能正在从“完成一个任务”走向“参与一段流程”。实际诊疗往往需要先分析影像，再结合中间结果调用其他专科模型，最后由系统整理出面向问题的回答。单一通用模型即使具备较强视觉或语言能力，也未必能够稳定决定何时调用哪个工具、如何安排调用顺序，以及怎样避免在综合阶段偏离原始结果。

论文提出的 MMedAgent-Plus，尝试把这些能力整合到一个多模态医疗智能体中。它以视觉语言模型作为规划器，通过统一工具接口连接多个专科模型，由规划器负责选择工具、按序执行，并基于工具返回结果生成最终回答。

覆盖多种任务和模态。 系统整合18个专科模型，覆盖12类医疗任务与8种模态，包括 CT、MRI、X 光、超声、眼底图像、视网膜 OCT 和病理图像等。
训练重点从回答转向编排。 研究团队从32个公开医学基准中整理出208,928条指令微调样本，覆盖单工具、多工具，以及单轮和多轮交互，让模型学习如何规划工具调用，而不只是直接给出答案。
拆分评估不同能力。 论文分别考察工具选择与调用、工具输出的答案综合，以及不预先提供工具结果的端到端执行，避免用单一分数掩盖智能体在不同环节的短板。
工具调用表现较强。 在单工具多轮、多工具多轮和多工具单轮设置下，工具调用准确率分别达到91.0%、98.1%和80.7%。在350个覆盖七类任务的端到端案例中，模型正确调用所需专科模型的比例为90.6%。
综合结果依赖可靠工具输出。 在工具输出已正确提供的600个样本中，模型的忠实性、完整性和简洁性评分达到14.4至14.8分（满分15分）。在一项医学问答端到端评估中，其最终答案准确率为0.98，与专科模型水平相当；该结果不能简单等同于所有临床场景中的真实诊断能力。

MMedAgent-Plus的价值，在于把医疗多模态模型的竞争焦点从“谁在单个基准上更高分”推进到“多个模型能否被可靠组织起来”。这种架构允许不同专科模型继续保留各自优势，同时由规划器承担任务拆解和流程协调，因此更接近复杂医疗软件的实际形态。

不过，结果也提示了评估此类系统时需要保持边界意识。论文中的高分部分建立在正确工具输出已经给定的前提上；端到端测试虽然覆盖工具选择，但样本规模和任务范围仍然有限。真正部署时，还需要进一步验证异常输入处理、工具结果冲突、错误调用后的恢复、数据隐私以及医生对过程可追溯性的要求。

总体来看，这项工作展示了一条清晰路线：以通用规划器连接专科模型，通过工具调用和中间结果实现跨模态协作。它未必意味着一个模型可以替代临床专家，但说明医疗智能体的关键能力，正在从单点识别转向可验证、可组合的工作流执行。