샌프란시스코, 애플·구글에 ‘AI 누드화’ 앱 삭제 요구

도입

생성형 AI의 악용 문제는 이제 모델을 만든 회사만의 문제가 아니다. 어떤 앱이 사용자에게 배포되고 결제되는지를 통제하는 앱스토어의 책임도 함께 도마에 올랐다. 샌프란시스코 시 검사장 David Chiu는 이번 주 애플과 구글에 중지 요구 서한을 보내, 이른바 ‘nudification’ 앱 13개를 각 앱스토어에서 삭제하라고 요구했다.

이런 앱은 실제 인물의 평범한 사진을 노출 또는 성적 이미지처럼 보이게 바꿀 수 있다. 옷을 제거한 것처럼 만들거나, 신체 특징을 바꾸고, 성적 자세로 합성하거나, 다른 나체 이미지에 얼굴을 합성하는 식이다. 핵심 쟁점은 앱스토어가 단순한 유통 창구인지, 아니면 비동의 친밀 이미지 생성을 가능하게 하는 인프라인지다.

핵심 내용

• 규제 압박은 플랫폼으로 향하고 있다. Chiu의 서한은 앱스토어가 딥페이크 포르노 생성 서비스를 지원하는 행위를 금지한 캘리포니아 법을 위반했을 가능성을 경고했다.
• 피해는 개인에게 심각하게 돌아간다. Chiu는 이런 이미지가 여성과 소녀를 괴롭히고, 모욕하고, 협박하는 데 쓰이며 평판, 정신건강, 자기결정권에 큰 피해를 준다고 말했다.
• 애플과 구글이 수익을 얻었을 가능성도 제기됐다. 샌프란시스코 측은 두 회사가 수수료로 수백만 달러를 벌었을 가능성이 있다고 추정했다. 이는 단순 심사 실패를 넘어 유해 서비스에서 이익을 얻었는지의 문제다.
• 구글은 지목된 앱을 정지했다고 밝혔다. 구글은 Chiu가 지적한 5개 앱을 유해 콘텐츠 정책 위반으로 정지했으며, ‘nudify’ 같은 관련 검색어도 제한하고 있다고 설명했다. 애플은 Ars Technica의 논평 요청에 응답하지 않았다.
• 심사 회피는 더 교묘해지고 있다. 연구자들은 일부 앱이 겉으로는 일반 얼굴 합성 앱처럼 홍보하면서 내부적으로 누드화 기능을 숨긴다고 경고했다. 5월 프리프린트 논문에서는 테스트한 앱의 70%에서 이미지의 성적화가 가능했다.

의미와 영향

이번 조치는 생성형 AI 시대의 앱스토어 거버넌스를 시험하는 사례다. 애플과 구글은 오랫동안 자신들의 스토어를 관리된 마켓플레이스로 설명해 왔다. 하지만 AI 앱에서는 허용 가능한 사진 편집 기능과 불법적 악용 기능의 경계가 흐려진다.

문제 앱이 반드시 ‘누드화 앱’이라는 이름을 내걸고 등장하는 것도 아니다. 얼굴 바꾸기, 사진 편집, 엔터테인먼트 앱처럼 보이지만 실제로는 비동의 친밀 이미지를 만들 수 있는 기능을 제공할 수 있다. 따라서 단순한 설명문 검토나 키워드 필터링만으로는 부족하며, 능동적인 테스트와 더 강한 탐지 체계가 필요하다.

기사에서는 Grok 논란도 함께 언급된다. xAI는 Grok을 이용해 아동 성적 학대물과 성인 대상 비동의 친밀 이미지를 생성하게 했다고 주장하는 사용자를 상대로 소송을 제기했다. 그러나 AI 도구가 불법 콘텐츠 생성에 사용될 수 있을 때 모델 제공자와 앱스토어가 각각 어느 정도 책임을 져야 하는지는 여전히 열린 문제다.

Chiu의 서한이 Grok 삭제를 요구한 것은 아니다. 그러나 이번 조치의 논리는 더 넓다. 불법 친밀 이미지를 가능하게 하는 앱을 배포하고 그 과정에서 수익을 얻는다면, 플랫폼은 피해 발생 후 대응하는 수준을 넘어선 의무를 요구받을 수 있다. 애플과 구글에게 이번 사안은 단순한 콘텐츠 moderation 문제가 아니라 AI 앱 유통의 법적 책임에 대한 경고다.

출처: Ars Technica AI