Claude를 일기처럼 쓴 플로리다 여성, 공격 계획 작성으로 중범죄 기소

들어가며

생성형 AI는 이제 글쓰기 도구를 넘어 생각을 정리하는 상대방이나 디지털 일기처럼 사용되고 있다. 이용자 입장에서는 대화창에 남긴 내용이 개인적인 기록처럼 느껴질 수 있다. 그러나 챗봇은 기업이 운영하고 안전 정책과 데이터 처리 규칙을 적용하는 온라인 서비스다. 플로리다에서 발생한 이번 사건은 두 가지 성격이 충돌할 때 어떤 일이 생길 수 있는지 보여준다.

사건의 경과

TechSpot이 인용한 체포 보고서에 따르면, 플로리다주 보니타스프링스에 거주하는 Carli Michelle Heller는 9월 26일 Claude에 보안관 사무실을 공격하겠다는 내용을 작성했다. 이후 Heller는 Anthropic의 챗봇을 “일기”처럼 사용한다고 경찰에 말했다고 전해진다.

Claude의 안전 시스템은 해당 입력을 위험 신호로 표시하고 인간 검토자에게 넘겼다. 검토자는 현실적인 위협일 가능성이 있다고 판단해 법 집행기관에 신고했다. 경찰은 Heller의 신원을 확인하고 자택을 방문했으며, 충돌 없이 그를 구금했다. 이후 카운티 보안관 사무실의 정보 담당 수사관이 조사를 맡았다.

Heller는 플로리다주 법에 따른 서면 폭력 위협 혐의를 받고 있다. 제공된 자료에 따르면 플로리다 법률은 다른 사람이 볼 수 있는 방식으로 전달된 서면 또는 전자 기록이 살해·상해, 대규모 총격, 테러 행위를 저지르겠다고 위협할 경우 이를 2급 중범죄로 규정한다. 다만 현재 확인 가능한 내용은 체포 보고서와 보도에 근거한 것이며, 최종적인 사실관계와 법적 책임은 사법 절차를 통해 결정된다.

핵심 포인트

• Claude의 안전 기능은 위험한 내용을 단순히 차단하는 데 그치지 않고 인간 검토로 escalation할 수 있다.
• Anthropic은 사망이나 중대한 신체 상해를 막기 위해 정보 공개가 필요하다고 판단하는 제한적 긴급 상황에서 사용자 정보를 공유할 수 있다고 밝힌다.
• 챗봇을 “일기”라고 부른다고 해서 종이 일기와 같은 수준의 비밀성이 보장되는 것은 아니다.
• 서비스 기업은 창작, 감정적 표현, 실제 실행 가능한 위협을 구분해야 하는 어려운 판단에 직면한다.

의미와 영향

이번 사건의 핵심은 특정 메시지를 신고했어야 하는지에만 있지 않다. 생성형 AI 제품은 친밀한 대화 경험과 자동 감시, 경우에 따라 인간 검토를 동시에 제공한다. 이용자는 AI를 비밀을 들어주는 상대처럼 느낄 수 있지만, 사업자는 일부 입력을 안전 위험을 알리는 신호로 해석할 수 있다.

개입이 지나치면 분노나 불안의 표현, 허구적 글쓰기까지 위협으로 오인해 이용자 신뢰를 훼손할 수 있다. 반대로 대응이 늦으면 실제 위험을 놓칠 수 있다. 따라서 플랫폼은 어떤 대화가 검토 대상이 되는지, 인간 검토로 넘어가는 기준은 무엇인지, 긴급 상황에서 정보가 언제 공개될 수 있는지를 보다 명확히 설명해야 한다.

이용자에게 주는 교훈도 분명하다. AI 채팅은 절대적인 사적 공간도, 법적으로 비밀이 보장되는 상담 창구도 아니다. 현실의 폭력 위험과 관련된 내용이라면 챗봇을 오직 자신만 읽는 종이 일기처럼 여기기보다 적절한 전문가나 긴급 지원 기관에 도움을 요청해야 한다.

출처: Hacker News