
2026年7月,创作者付费服务平台Patreon宣布联合云安全厂商Cloudflare升级AI防护体系,正式放弃此前仅依靠robots.txt协议提示AI爬虫禁止抓取的被动策略,转为主动拦截所有未经授权、试图爬取平台创作者内容用于AI大模型训练的爬虫程序,以此保护平台数百万创作者的知识产权不受AI训练方的不当侵占。

近两年来,生成式AI训练的海量数据需求,让全球范围内的公开内容平台都成了AI爬虫的重点目标,大量未授权的爬取行为,已经严重侵犯了内容创作者的合法权益。据第三方监测数据显示,2026年上半年,针对内容付费平台的AI爬虫请求量同比上涨了217%,其中近9成未获得平台授权。
此前包括Patreon在内的多数内容平台,主要依靠robots.txt协议标注禁止AI爬虫抓取,但该协议本质是互联网行业的自律规则,不具备法律强制效力。多数AI训练企业为了降低数据获取成本,往往会无视该协议的提示,甚至会伪装成普通用户请求爬取内容。
登录后解锁全文,体验收藏、点赞、评论等完整功能
立即登录