OpenAI、谷歌等四家公司推进 AI 抓取退出标准，网站可统一声明训练偏好

据 IT之家 11 月 1 日报道，OpenAI、谷歌、微软与 Anthropic 近日宣布将采用一项新标准，让内容发布方能够统一表达拒绝 AI 抓取网站内容、用于模型训练的偏好。该方案将集成到网站的 robots.txt 文件中，核心目标是用一套通用声明替代面向不同 AI 企业分别配置规则，降低网站管理内容使用权限的操作成本。

沿用 robots.txt，简化多家平台的规则配置

这项标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出。robots.txt 并不是为 AI 新建的机制：长期以来，网站通过这一文件告知网络爬虫哪些内容允许抓取、哪些内容禁止抓取，涉及搜索索引、网页归档以及 AI 模型训练等场景。

随着更多 AI 企业通过爬虫收集网页素材，内容发布方需要面对不同公司的抓取规则。目前，网站通常必须逐家声明 AI 训练相关的内容使用偏好。这意味着，即便发布方只有一个明确诉求，也可能需要维护多套配置，并持续关注不同企业的规则变化。

新标准希望把这些分散的表达方式整合为共同信号。对网站运营者而言，变化不在于多出一个管理入口，而是有望在熟悉的 robots.txt 文件内，一次表达面向多家 AI 企业的训练使用偏好。不过，来源未披露具体语法、配置示例以及正式标准化进度，实际部署仍需等待相关说明。

各家公司落地节奏不同，尚非全面同步支持

尽管四家公司都表态采用，但支持时间并不一致。据报道，各方目前的进展如下：

• Anthropic 已率先采纳这项标准。
• OpenAI 计划在未来几个月内落实。
• 谷歌和微软预计于报道所述的明年支持。
• Meta 发言人 Andy Stone 表示支持建立此类通用信号，但未明确落地计划。

因此，宣布支持并不等于所有相关爬虫已经同时按照新规则运行。对内容发布方来说，现阶段仍需区分企业表态、产品落实与实际抓取行为，不能仅凭共同声明就认定现有配置已可被统一替代。

影响：内容治理开始走向共同接口

从 AI 产业角度看，这项方案的意义在于推动内容使用偏好从企业各自定义，转向更容易被多方识别的公共接口。对于媒体、知识网站和其他依赖原创内容的平台，统一信号有望减少重复维护工作，也能让发布方更清晰地表达其内容是否愿意参与模型训练。

但需要注意，声明机制不等于技术上的强制拦截。robots.txt 的传统作用是向爬虫传达规则；仅凭现有报道，尚不能判断新标准如何处理不遵守声明的抓取行为，也不能据此推导其能够解决版权授权、付费使用或历史训练数据等问题。

对中文内容行业而言，值得关注的不只是新增一条配置规则，而是主要 AI 企业能否形成一致且可持续的执行方式。若更多参与者采纳，并提供清晰的实施文档，这项标准有望成为网站与模型企业之间更低成本的沟通基础；其实际价值，仍将取决于后续覆盖范围与执行情况。