サンフランシスコ、AppleとGoogleに「AI脱衣」アプリ削除を要求

導入

生成AIの悪用対策は、モデル開発企業だけの問題ではなくなっている。いま問われているのは、そのような機能をユーザーに届けるアプリストアの責任だ。サンフランシスコ市検事 David Chiu は今週、Apple と Google に対し、13件のいわゆる「nudification」アプリを削除するよう停止通告書を送った。

これらのアプリは、実在人物の通常の写真を、裸に見える画像や性的に加工された画像へ変換できる。衣服の除去、特徴の変更、性的なポーズ化、裸の身体への顔の合成などが可能になるとされる。問題の核心は、アプリストアが単なる配信経路なのか、それとも非同意の親密画像を生むサービスを支える基盤なのかという点にある。

重要ポイント

• 規制の矛先は配信プラットフォームへ向かっている。 Chiu の書簡は、アプリストアがディープフェイクポルノ作成を支援するサービスを禁じるカリフォルニア州法に違反している可能性を指摘した。
• 被害は深刻で個人的だ。 Chiu は、こうした画像が女性や少女をいじめ、辱め、脅すために使われ、評判、メンタルヘルス、自己決定権に重大な影響を及ぼすと述べた。
• Apple と Google が収益を得た可能性がある。 旧金山市側は、両社が手数料として数百万ドルを得た可能性があると見ており、単なる審査漏れではなく、有害サービスからの利益という論点も浮上している。
• Google は指摘アプリを停止したと説明。 Google は、指摘された5件のアプリを有害コンテンツポリシー違反で停止し、「nudify」など関連検索語の制限も行っているとした。Apple は Ars Technica のコメント要請に回答しなかった。
• 審査回避は巧妙化している。 研究者は、表向きは一般的な顔交換アプリとして宣伝しながら、実際には性的画像化に使えるアプリがあると警告している。5月のプレプリント論文では、テスト対象の70％で nudification が可能だった。

意味と影響

今回の動きは、生成AI時代におけるアプリストア審査の大きな試金石だ。Apple と Google は長年、ストアを管理されたマーケットプレイスとして位置づけてきた。しかしAIアプリでは、許容される写真編集機能と違法な悪用機能の境界が見えにくい。

さらに、危険なアプリが必ずしも「脱衣アプリ」として名乗るわけではない。顔交換、写真編集、娯楽アプリとして配信されながら、内部機能や使い方によって非同意の親密画像を生成できる場合がある。これに対応するには、説明文やキーワードの確認だけでなく、より能動的なテストと検出体制が必要になる。

記事はまた、Grok をめぐる問題にも触れている。xAI は、Grok に児童性的虐待素材や成人を標的にした非同意の親密画像を生成させたとされるユーザーを訴えた。しかし、違法コンテンツを生成し得るAIツールについて、モデル提供者やそれを配信するアプリストアがどこまで責任を負うのかは未解決のままだ。

Chiu の書簡は Grok の削除を求めてはいない。それでも今回の論理はより広い。違法な親密画像を可能にするアプリを配信し、そこから利益を得るなら、プラットフォームには事後対応以上の義務が求められる可能性がある。Apple と Google にとって、これは単なるモデレーション案件ではなく、AIアプリ流通の法的責任をめぐる警告だ。

出典：Ars Technica AI