旧金山向苹果、谷歌施压：下架“AI 脱衣”应用不只是内容治理问题

导语

生成式 AI 的滥用边界，正在从模型公司延伸到应用分发平台。旧金山市检察长 David Chiu 本周向苹果和谷歌发出停止侵权函，要求两家公司从各自应用商店移除 13 款所谓“nudification”应用，也就是可将普通人物照片处理成裸露或性化图像的工具。

这起事件的焦点不只是某几款违规应用，而是应用商店是否在为非自愿私密影像的生成、传播与商业化提供基础设施。

核心要点

• 监管指向平台责任：据报道，Chiu 认为应用商店继续提供此类应用，可能违反加州禁止支持生成深度伪造色情内容服务的法律。
• 受害风险集中在女性和未成年人：这类工具可被用于羞辱、威胁、霸凌和勒索，带来名誉、心理健康与个人自主权层面的伤害。
• 苹果、谷歌可能从中获利：旧金山方面估计，两家公司可能已经通过应用费用获得数百万美元收益，因此问题不只是审核疏漏，也涉及是否从有害服务中获利。
• 谷歌称已处理被点名应用：谷歌表示，Chiu 提到的 5 款应用已因违反有害内容政策被暂停，并称其会限制“nudify”等相关搜索词。苹果则未回应 Ars Technica 的置评请求。
• 规避审核正在变得更隐蔽：研究人员指出，一些应用表面宣传“换脸”等通用功能，却隐藏可用于性化图像的能力。此前一项预印本研究测试的应用中，70% 可被用于“脱衣”场景。

意义与影响

这次执法压力说明，AI 安全不再只看模型输出，还要追问谁让这些能力触达用户、谁从中收费、谁应承担发现和阻断义务。应用商店过去更多扮演分发与支付入口，但在生成式 AI 应用中，它们也逐渐成为内容风险的关键闸门。

更棘手的是，风险并不总以“裸露应用”的形式出现。部分工具可能以照片编辑、换脸、聊天机器人或视频生成的名义上架，再通过隐藏功能或提示词绕过审核。这意味着平台不能只依赖应用描述和关键词过滤，还需要更主动的测试、复核和违规响应机制。

文章还提到 xAI 的 Grok 争议：xAI 起诉了一名被指利用 Grok 生成非法内容的用户，但外界仍在追问，当 AI 工具可被用于生成儿童性虐待材料或非自愿私密影像时，平台与模型提供方各自应承担什么责任。旧金山方面此次虽未要求下架 Grok，但其逻辑可能会推动更广泛的应用商店审查标准。

对苹果和谷歌来说，这不只是一次下架请求，而是一次关于 AI 应用分发治理的压力测试。如果平台无法证明自己有足够强的筛查和处置能力，监管者可能会继续通过法律手段迫使其改变。

来源：Ars Technica AI