Cloudflare上线拒AI训练新设置 保搜索爬取 三巨头承诺遵守

2026年9月16日，Cloudflare正式推出名为“Disallow AI Training”的站点管理功能，允许网站在保留搜索引擎正常爬取收录权限的同时，拦截未被标记为“可问责”的AI训练爬虫抓取内容，目前苹果、谷歌、微软三家企业已承诺遵守该规则，官方提示启用该设置可能影响站点搜索排名。

新设置的运行核心规则

此次上线的“Disallow AI Training”设置核心逻辑是对爬虫类型做精细化区分：网站管理员启用该设置后，Cloudflare不会拦截所有同时兼具搜索、AI训练功能的混合爬虫，仅会放行被系统标记为Accountable（可问责）的混合爬虫，其余专门用于AI训练的爬虫将被直接拦截。

Cloudflare官方明确提示，拦截AI训练爬虫的操作有可能对对应网站的搜索排名造成影响，管理员可根据自身需求权衡是否启用。

用户迁移与配套工具进展

Cloudflare表示大多数现有客户无需进行任何手动调整：此前在Training选项中选择“Block”或者“Block on pages with ads”的站点，会自动迁移至新的“Disallow AI Training”规则体系下，无需额外操作即可享受新的拦截能力。

此外，谷歌将在未来几周推出Google-Extended的URL层级透明度工具，苹果也在开发自有URL相关配套功能，目前暂未披露更多细节。

价值分析

分析认为，该设置为网站内容所有者提供了更灵活的权限选择，在不影响站点正常搜索曝光的基础上，给出了防范无授权AI训练抓取的标准化解决方案，降低了中小站点的内容权益维护成本。