청소년 표현은 알아들어도 위기는 놓치는 상담 챗봇

들어가며

한 청소년이 챗봇에 “나 진짜 괜찮아. 너무 행복해서 사라지고 싶을 정도야”라고 말했다고 하자. 시스템은 이를 농담이나 과장된 표현으로 볼까, 아니면 자해 위험의 신호로 볼까? arXiv에 공개된 한 연구는 Generation Alpha의 대화 방식이 정신건강 지원용 챗봇의 안전성에 어떤 영향을 미치는지 분석했다. 논문에는 ACM FAccT ’26에 채택됐다는 내용도 담겼다.

연구가 던지는 핵심 메시지는 분명하다. 단어를 이해하는 능력과 그 문장에 담긴 임상적 위험을 판단하는 능력은 같지 않다.

무엇을 평가했나

연구진은 두 가지 평가 세트를 만들었다.

• 원어민과 임상 전문가가 검증한 Generation Alpha 정신건강 표현 64개
• 표준 표현과 청소년식 표현을 짝지은 다중 턴 대화 75개, 총 780턴

평가 대상은 Claude, GPT-4o, Llama-3.1 등이다. 단순히 은어나 비격식 표현의 뜻을 설명하는 데 그치지 않고, 대화 맥락에서 위기 신호를 파악하는지, 응답의 심각도를 적절히 조정하는지, 필요한 안전 조치를 취하는지를 확인했다.

모델의 어휘 이해율은 7682%였다. 그러나 임상 위험을 정확하게 보정해 판단한 비율은 6472%에 머물렀다. 어휘 이해와 위험 추론 사이에는 10~14%포인트의 격차가 나타났고, 인간 치료사의 격차는 약 3%포인트였다. 표현이 모호해질수록 모델의 격차는 7%포인트에서 18%포인트로 확대됐다.

반복적으로 나타난 여섯 가지 실패

논문은 다음과 같은 실패 유형을 제시한다.

1. 반어에 의한 은폐: 밝은 말투나 농담이 실제 고통을 가린다.
2. 축소 표현의 수용: “별일 아니야”라는 자기평가를 그대로 받아들인다.
3. 비격식 문체 편향: 편한 말투를 덜 심각한 신호로 해석한다.
4. 위험도에 따른 모호성: 같은 표현도 상황에 따라 위험도가 달라진다.
5. 의미의 빠른 이동: 주제와 단어의 의미가 변하면서 초기 경고 신호가 사라진다.
6. 맥락 의존적 폭력 표현: 대상, 시점, 의도를 함께 파악해야 한다.

세 가지 이상의 패턴이 동시에 나타났을 때 연구에서 보고된 위기 누락률은 94%였다. 이는 문제의 원인이 단순히 청소년 은어 사전의 부족이 아니라는 뜻이다. 언어 해석, 긴 맥락 추적, 임상적 추론 사이에 구조적인 단절이 존재한다는 의미다.

의미와 영향

간단한 프롬프트 수정이나 가벼운 안전 장치만으로는 인간 치료사 수준의 성능을 회복하기 어려웠다. 연구에 따르면 비슷한 수준에 도달하려면 더 무거운 안전 스캐폴딩이 필요하며, 비용은 약 6.4배 높아진다. 이에 연구진은 미성년자 대상 정신건강 AI에 의무적인 인간 개입 구조, 분기별 청소년 특화 검증, 표현 방식별 성능 공개를 권고한다.

다만 이 결과를 모든 챗봇과 실제 서비스에 그대로 일반화해서는 안 된다. 특정 모델과 평가 세트를 사용한 연구이기 때문이다. 그럼에도 명확한 임상 용어만으로 안전성을 시험해서는 충분하지 않다는 점은 중요하다. 미성년 사용자가 실제로 쓰는 반어와 모호성을 이해하지 못한다면, 유창한 답변은 안전을 보장하지 못한다.

출처: arXiv