Safe-Psych：精神科診断でLLMは「まだ答えない」を選べるか

導入

医療向け大規模言語モデルの評価では、必要な情報が最初からすべて提示されていることが多い。しかし実際の診療では、患者の説明は断片的で、既往歴や症状の時間経過を追加で確認しなければならない場面が少なくない。arXiv に掲載された「Ask Before You Diagnose」は、この現実に近い状況を評価するため、精神科診断向けの逐次ベンチマーク Safe-Psych を提案している。

主要ポイント

• 最終回答だけでなく、診断するタイミングを評価する。 Safe-Psych は各段階で、モデルが診断すべきか、追加説明を求めるべきか、回答を控えるべきかを問う。
• 実世界の精神科臨床ノートを利用する。 データには1000件を超える精神科の臨床記録が含まれ、情報が少しずつ明らかになるように分割されている。
• 行動ラベルは専門家に基づく。 各段階には精神科医由来の DIAGNOSE、CLARIFY、ABSTAIN というラベルが付けられている。
• 高性能モデルでも校正は難しい。 論文によれば、多くのモデルで under-abstention が60%を超え、不十分な証拠でも回答してしまう傾向が見られた。
• 安全プロンプトにも限界がある。 安全を意識した指示は早すぎる診断を減らす一方、過度に棄権する方向へ誤りを移すことがある。

意義と影響

Safe-Psych が示す重要な点は、医療AIの安全性は完全な症例に対する正答率だけでは測れないということだ。臨床では、現時点で判断できるのか、それとも追加情報が必要なのかを見極める能力が不可欠である。精神科では、症状の持続期間、生活背景、併存する問題などが診断に影響するため、この能力は特に重要になる。

また、モデルの一般的な能力向上がそのまま臨床的な慎重さにつながるわけではないことも示された。逐次評価では、モデルが十分な証拠の前に診断を出すことが多く、明示的に促されない限り clarification を求める頻度は低い。さらに、早すぎる診断は適切なタイミングの診断より精度が低いと報告されている。

開発者にとって、Safe-Psych は不確実性を扱う能力を訓練・評価する必要性を示している。導入側や規制側にとっても、医療AIの評価は「正しい答えを出せるか」だけでなく、「答えるべきでない時に止まれるか」「追加情報を求められるか」まで含めるべきだという示唆を与える。

出典：arXiv