Safe-Psych：让大模型在精神科诊断前学会先提问

导语

医疗大模型评测常常默认“病历信息已经完整给出”，但真实临床并不是这样运转的。患者叙述可能零散，既往史需要追问，关键症状也可能随着问诊逐步浮现。来自 arXiv 的论文《Ask Before You Diagnose》提出 Safe-Psych，试图把这种“信息逐步出现”的现实带进精神科大模型评测：模型不只要会诊断，更要知道什么时候不该诊断。

核心要点

• 评测对象从答案准确率转向诊断时机。 Safe-Psych 关注模型面对不完整证据时的行为选择：是给出诊断、请求澄清，还是暂时放弃回答。
• 数据来自真实精神科临床记录。 基准包含超过 1000 份真实世界精神科临床笔记，并被切分成多个阶段，以模拟临床证据逐步披露的过程。
• 每一步都有专家动作标签。 研究团队为各阶段设置了由精神科医生给出的标签：DIAGNOSE、CLARIFY 或 ABSTAIN，对应“可以诊断”“应继续澄清”“应避免回答”。
• 强模型也会校准失败。 论文指出，在信息不足时，多数模型的 under-abstention 超过 60%，也就是本该克制时仍倾向于给出判断。
• 安全提示不是万能解。 加入安全导向提示可以减少过早承诺，但常常把错误推向另一端：模型变得过度放弃回答。

意义与影响

Safe-Psych 的价值不在于给出一个新的精神科诊断排行榜，而在于指出现有医疗 AI 评测的盲区。临床安全并不只取决于模型在完整病例上的最终准确率，还取决于它是否能识别“证据还不够”。在精神科场景中，这一点尤其关键，因为症状描述、时间线、共病和环境因素都会影响判断。

论文还揭示了一个值得警惕的现象：模型能力提升并不自动带来风险校准能力。即使是先进大模型，也可能在顺序评测中提前下结论，而且这些过早诊断的准确性低于在合适时机作出的诊断。换言之，一个模型会“答题”，不代表它会“问诊”。

对于医疗 AI 开发者而言，Safe-Psych 提供了更贴近临床过程的测试框架：未来模型需要被训练和评估为能够主动请求补充信息，而不是在不确定时生成貌似可靠的结论。对于监管和部署方而言，这类基准也提醒我们，医疗场景中的安全评估应覆盖拒答、澄清和延迟决策等行为，而不只是最终答案是否命中。

来源：arXiv