Patreon 联手 Cloudflare：从“请求别抓取”转向主动拦截 AI 训练爬虫

导语

创作者会员平台 Patreon 正在把反 AI 抓取策略从“礼貌告知”升级为“主动封堵”。据 TechCrunch 报道，Patreon 将与 Cloudflare 扩展合作，使用后者的 AI Crawl Control 技术，直接阻止那些试图在未经授权情况下抓取创作者作品、用于训练 AI 模型的机器人。

这意味着 Patreon 不再只依赖 robots.txt 文件向爬虫说明“哪些内容不应被抓取”。在 AI 爬虫越来越复杂、且并不总是遵守网站声明的背景下，平台开始用基础设施层面的技术手段执行自己的规则。

核心要点

• 从 robots.txt 到主动拦截：robots.txt 是网站向爬虫提供访问指引的传统方式，但它本质上依赖爬虫自觉遵守。Patreon 认为，创作者的同意不应取决于抓取者是否“守规矩”。
• Cloudflare 提供防护能力：Patreon 将使用 Cloudflare 的 AI Crawl Control 更新其 AI 政策和执行工具。Cloudflare 近期也在加强面向网站发布者的 AI 爬虫管理能力，包括限制 AI 机器人访问以及“Pay Per Crawl”等机制。
• 付费墙之外的新风险：Patreon 原本大量内容位于付费墙之后，天然较难被普通爬虫获取。但平台近来推出了重新设计的 Home Feed 和类似推文的 Quips 等发现功能，可能让更多内容处于可被抓取的场景中。
• 并非封杀所有机器人：Patreon 表示，它仍会允许用于索引网页、组织信息并把用户带回 Patreon 的机器人访问。平台针对的是用于 AI 训练、且未经许可抓取创作者内容的爬虫。

意义与影响

Patreon 的变化体现了内容平台在 AI 时代面临的核心矛盾：创作者需要曝光和增长，但并不意味着他们必须默认接受作品被拿去训练模型。过去，网站通常通过 robots.txt 表达边界；如今，平台开始意识到，仅有声明并不能阻止不合作的抓取者。

对创作者而言，这一做法强化了“同意”的技术含义。平台不只是发布政策文本，而是把权限控制落实到网络访问层面。对 AI 公司而言，获取训练数据的成本和合规门槛可能继续上升，尤其是在越来越多平台接入类似防护工具之后。

更大的趋势是，网络内容生态正在从开放抓取走向分层授权：搜索索引、用户导流、AI 训练将被更清晰地区分。Patreon 的做法未必能解决所有 AI 数据使用争议，但它代表了一个重要信号——内容平台正在从“要求不要抓”进入“能不能抓由我来控制”的阶段。

来源：TechCrunch AI