xAI, Grok 사용자 제소…AI 유해 출력 책임 공방 본격화

도입

Grok이 동의 없는 성적 이미지나 아동 성적 학대 자료 생성에 악용될 수 있다는 비판이 커지는 가운데, 일론 머스크의 xAI가 사용자를 상대로 소송을 제기했다. Ars Technica에 따르면 xAI는 사우스캐롤라이나에서 진행 중인 형사 사건과 관련된 Terry Wayne Harwood를 상대로, Grok을 불법 콘텐츠 생성 또는 수정에 사용했다고 주장했다.

핵심 내용

• 특정 사용자를 겨냥한 첫 소송: xAI는 Harwood가 최소 두 개의 Grok 계정을 사용해 수개월 동안 비성적 이미지를 부적절한 이미지로 바꾸려 했다고 밝혔다. 이 과정에는 미성년자로 보이는 인물의 초상이 포함됐다는 주장도 담겼다.
• 안전장치의 한계가 드러남: 회사는 Grok이 일부 명백한 위반 프롬프트를 거부했다고 설명했다. 동시에 피고가 오해를 유도하는 표현 등으로 보호 장치를 우회했다고 주장했다. 다만 우회 방법 확산을 막기 위해 성공한 프롬프트의 세부 내용은 공개하지 않았다.
• 약관 위반을 핵심 근거로 제시: xAI 약관은 실제 인물을 탈의시킨 것처럼 보이게 하는 행위, 인물의 성적 묘사, 아동의 성적 착취를 금지한다. 회사는 Harwood의 행위가 계약 위반이자 법 위반이라고 본다.
• 배경에는 민사소송 압박: 피해를 주장하는 미성년자 측은 xAI가 법 집행기관이 추적할 수 있는 충분한 사용자 정보를 제공하지 않았다고 비판해 왔다.
• 쟁점은 ‘중립적 도구’ 주장: xAI는 Grok이 사용자의 지시에 따라 작동하는 중립적 생성 AI 도구이며, 입력과 출력에 대한 책임은 사용자에게 있다고 주장한다.

의미와 영향

이번 소송은 단순히 한 명의 악용자를 처벌하려는 사건이 아니다. xAI는 법원이 Grok의 유해 출력에 대한 책임을 플랫폼이 아니라 약관과 법을 위반한 사용자에게 돌리는 논리를 인정하길 기대하고 있다. 이런 주장이 받아들여지면 xAI는 향후 집단소송 가능성에 대응할 강력한 방어 논리를 확보할 수 있다.

그러나 생성형 AI 출력의 책임 문제는 간단하지 않다. AI 기업은 모델의 능력, 필터링 정책, 로그 보관, 계정 제재, 당국 신고 절차를 설계하고 운영한다. 안전장치가 반복적으로 실패했다면, 서비스 약관만으로 플랫폼 책임을 완전히 피하기는 어려울 수 있다.

이 사건은 멀티모달 AI가 실제 인물과 미성년자에게 심각한 피해를 줄 수 있는 시대에, 악의적 사용자와 AI 제공자 사이의 책임을 어떻게 나눌지 묻는 중요한 선례가 될 가능성이 있다.

출처: Ars Technica AI