多家美媒封禁时光机爬虫 防范AI训练版权滥用

2026年4月，据Wired披露，包括《纽约时报》、Reddit、《今日美国》母公司在内的至少23家美国主流媒体与内容平台，已先后封禁互联网档案馆旗下“时光机（Wayback Machine）”的专用爬虫。这一动作的核心目的，是阻止AI开发企业绕过版权限制，抓取受保护的历史内容用于大语言模型训练，也让AI训练版权争议浮出了新的切面。

不少行业观察者注意到，本次封禁事件本身就充满了耐人寻味的矛盾性。《今日美国》所属的甘尼特传媒集团，刚刚在近期一篇揭露美国移民政策统计漏洞的深度报道中，依靠时光机存档的历史网页数据完成了核心论据支撑，转头就将时光机爬虫列入了封禁名单。

该集团发言人公开回应称，目前已经全面封禁所有非授权爬虫程序，包括时光机专属的`ia_archiverbot`，这是应对当前日益严峻的AI内容侵权风险的必要举措。

这波封禁针对的并不是互联网档案馆的公共存档服务本身，而是AI企业刻意钻空子的“绕路抓取”套路。

近年来，主流内容机构已经纷纷针对性封禁了OpenAI、谷歌等头部AI企业的训练爬虫，禁止其直接抓取平台内容用于模型训练。但不少AI开发者另辟蹊径，转而从互联网档案馆的公开存档中批量抓取已经被存档的受版权内容，相当于绕开了媒体直接设置的版权屏障。