临床医生实际使用方式，正在偏离大模型评测基准

导语

医疗大模型的能力，通常通过考试题、精选病例或专业问答基准来衡量。但临床人员真正把AI用在什么地方，可能与这些测试完全不同。发表于Hugging Face Daily Papers 的一项研究，系统比较了医护人员的真实查询与公开临床基准，指出一个容易被忽视的问题：基准分数测到的，未必是医疗机构实际需要的能力。

真实临床使用并不以诊断为中心

研究团队分析了一家机构在推广期内收集的127,833条查询，用户包括6,342名医生、高级执业提供者和护士，覆盖35个专科。研究使用经过临床人员验证的RCQ-Map框架，对每条请求的任务类型、意图、信息完整性、可回答性和潜在危害进行刻画。

结果显示，文档与行政事务是最大的一类，占全部使用的36.2%；知识检索占28.9%。两者合计接近三分之二。相比之下，诊断相关请求仅占3.7%。这意味着，医院部署的通用助手更常被要求整理记录、处理流程信息、查找知识或辅助日常工作，而不是直接给出诊断结论。

研究还发现，超过三分之一的查询在原始表述下无法被很好回答。问题可能并非模型完全没有相关知识，而是请求缺少必要背景、目标不清晰，或需要访问系统之外的信息。对医疗场景而言，这一发现尤其重要：评估AI不能只看答案是否正确，还要看它能否识别信息缺口、提出澄清问题，并在风险较高时避免过度作答。

基准测试与工作流之间存在错位

研究者进一步将RCQ-Map应用于58个公开基准，并据此整理出Clinical AI Benchmark Atlas。结果显示，中位数基准完全没有覆盖文档请求；其任务构成与真实临床使用的重合度只有31%。即使是那些以贴近临床实践为目标设计的测试套件，单个基准与真实使用的接近程度，也不优于前沿模型报告中采用的基准。

这并不意味着现有考试题或病例题没有价值。它们仍然可以测试特定知识和推理能力，但不能单独代表系统在真实部署中的整体表现。一个模型可能在诊断题上取得高分，却没有充分证明自己能够处理大量文档、检索和行政任务；反过来，面向工作流的系统也需要接受安全性、可追溯性和信息缺失处理能力的检验。

意义与影响

这项研究将评测重点从“模型答对了多少题”推进到“模型是否被测试了真实会做的工作”。未来的医疗AI评估，可能需要结合真实查询分布、不同岗位的任务差异、用户追问行为以及潜在伤害，而不是只发布一个综合分数。对医院而言，采购或部署系统时也应要求供应商说明评测任务与目标工作流的对应关系。

更合理的方向不是放弃标准化基准，而是建立分层评测：用知识题检查基础能力，用病例任务考察临床推理，再用真实或仿真的工作流测试文档、检索、协作、澄清和风险控制。只有当评测内容更接近实际使用，模型分数才更可能成为部署决策的有效依据。

来源：Hugging Face Daily Papers