AI爬虫“统一退订”标准获支持，网站可一次表达训练偏好

生成式AI公司持续抓取网站内容，用于训练模型或在回答中调用外部信息，也让出版商面临一个实际问题：如何同时向多家公司的爬虫表达“不允许用于AI”的意愿。现在，OpenAI、Google、微软和Anthropic表示将支持一种共享标准，尝试把这项控制从“逐家公司设置”变成“一次声明，多方识别”。

核心机制：把偏好写进robots.txt

这套机制被称为“policy token”，由Anthropic负责标准工作的技术负责人Kevin Kelley提出，并作为互联网工程任务组（IETF）的一部分推进。它计划放在网站现有的robots.txt文件中。robots.txt长期以来被用于告诉搜索、归档等网络爬虫哪些页面可以访问，新的信号则将进一步表达网站对AI相关用途的偏好。

目前，网站通常需要针对不同AI公司的爬虫分别配置规则。共享token的目标，是让多个AI服务商读取同一项声明。如果爬虫发现网站设置了该信号，OpenAI、Google、微软和Anthropic都表示会限制其AI爬虫访问。Anthropic已经采用这一信号；OpenAI计划在未来数月实施，Google和微软则预计在明年提供支持。

微软还表示，将提供更细的选择，让出版商分别决定是否退出AI训练，或是否允许AI grounding。后者是让模型连接经过验证的信息源，以降低回答出现幻觉的过程。微软强调，网站即使拒绝这些AI用途，仍会出现在Bing搜索结果中。Google此前也提供过类似控制，可分别影响AI搜索功能展示或模型训练，同时不影响常规搜索可见性。

为什么值得关注

对出版商而言，统一信号能够减少维护多套规则的技术和管理负担，也让“允许搜索索引、但不允许AI训练”这类更细的授权意图更容易被表达。对AI公司而言，共同标准有助于降低各自设计、解释和执行规则造成的碎片化。

不过，这并不等于版权争议已经解决。robots.txt和新token本质上是机器可读的意愿声明，能否被所有爬虫遵守，仍取决于平台的执行承诺。Meta已表达支持这一方向，但尚未明确是否会执行该设置。与此同时，出版商也在探索其他路径，例如允许爬虫付费的Really Simple Licensing标准，以及默认拦截AI爬虫的Cloudflare方案。

因此，这项计划的价值不仅在于新增一个技术字段，更在于推动AI公司、网站和标准组织形成共同的“内容使用语言”。如果主要平台按承诺落实，网站管理者未来或许能更集中地管理训练、检索和搜索展示之间的边界；但在正式标准和行业执行完全成熟前，出版商仍需要结合现有的单独规则与访问控制。

来源：The Verge AI