Safe-Psych: 정신과 진단에서 LLM은 먼저 물어볼 수 있을까

도입

의료용 대규모 언어모델 평가에서는 필요한 정보가 처음부터 모두 주어지는 경우가 많다. 하지만 실제 진료에서는 환자의 진술이 불완전하고, 병력이나 증상의 맥락을 추가로 물어야 하며, 때로는 아직 진단을 내리지 않는 것이 더 안전한 선택이다. arXiv 논문 “Ask Before You Diagnose”는 이러한 현실을 반영하기 위해 정신과 영역의 순차 평가 벤치마크 Safe-Psych를 제안했다.

핵심 내용

• 정답뿐 아니라 판단 시점을 평가한다. Safe-Psych는 각 단계에서 모델이 진단해야 하는지, 추가 정보를 요청해야 하는지, 답변을 보류해야 하는지를 본다.
• 실제 정신과 임상 노트를 기반으로 한다. 데이터에는 1000건이 넘는 실제 정신과 임상 기록이 포함되며, 증거가 점진적으로 공개되도록 분할되어 있다.
• 전문가 행동 라벨을 사용한다. 각 단계에는 정신과 의사 기반의 DIAGNOSE, CLARIFY, ABSTAIN 라벨이 붙어 있다.
• 강한 모델도 위험 보정에 실패한다. 논문은 대부분의 모델에서 under-abstention이 60%를 넘는다고 보고했다. 이는 증거가 부족한데도 답을 내놓는 경향을 뜻한다.
• 안전 프롬프트는 완전한 해법이 아니다. 안전 지향 프롬프트는 성급한 결론을 줄일 수 있지만, 오류를 과도한 abstain 쪽으로 옮길 수 있다.

의미와 영향

Safe-Psych가 던지는 메시지는 분명하다. 의료 AI의 안전성은 완전한 정보가 주어졌을 때의 최종 정확도만으로 평가하기 어렵다. 임상적으로 중요한 것은 현재 정보만으로 판단이 가능한지, 아니면 더 물어봐야 하는지를 구분하는 능력이다. 정신과에서는 증상의 지속 기간, 생활 맥락, 동반 문제 등이 판단에 큰 영향을 주기 때문에 이러한 능력이 특히 중요하다.

논문은 모델의 전반적 성능이 높다고 해서 불확실성에 대한 보정 능력까지 자동으로 따라오는 것은 아니라고 지적한다. 순차 평가에서 모델들은 충분한 증거가 나오기 전에 진단을 내리는 경우가 많았고, 명시적으로 요구하지 않으면 clarification을 거의 선택하지 않았다. 또한 조기 진단은 적절한 시점의 진단보다 정확도가 낮았다.

개발자에게 Safe-Psych는 의료 AI가 단순히 답을 생성하는 시스템이 아니라, 불확실할 때 질문하고 기다릴 수 있는 시스템이어야 함을 보여준다. 배포자와 규제기관에도 시사점이 있다. 임상 AI 평가는 최종 답의 정확성뿐 아니라, 답하지 않아야 할 때 멈추는 능력과 추가 정보를 요구하는 행동까지 포함해야 한다.

출처: arXiv