少找工具,多做创作

3·15晚会曝光AI大模型投毒乱象 生成式安全治理迎来升级

2026年中央广播电视总台3·15晚会曝光AI大模型恶意“投毒”乱象,北京力思文化传媒有限公司运营的“力擎GEO优化系统”因批量生成虚假信息误导大模型训练被点名。该公司由李千钟全资持股,2025年参保人数仅1人,目前各大电商平台已全量下架相关产品,此次事件直接推动国内生成式AI安全治理体系进一步完善。

今年3·15晚会现场公布的测试片段直观展现了“AI投毒”的完整链条:工作人员向力擎GEO优化系统输入完全虚构的便携投影仪参数后,系统仅用10分钟就生成了上百篇看似专业的产品测评、用户体验笔记,这些内容通过批量分发工具进入公域内容池后,仅72小时就被3款主流通用大模型纳入训练数据源,在后续用户问询中直接作为真实产品信息输出。

天眼查公开信息显示,涉事的北京力思文化传媒有限公司成立于2018年,注册资本100万元,由自然人李千钟100%持股。该公司长期处于运营异常边缘,2021年至2024年连续4年参保人数为0,2025年参保人数仅为1人,本质是典型的小作坊式灰产服务商。

据业内人士介绍,此类“AI优化”服务是传统搜索引擎SEO黑产的升级版本:此前黑产批量造虚假内容是为了获得更高的搜索引擎排名,而现在则是瞄准了大模型的公开数据抓取机制,通过重复发布同质虚假内容,诱导大模型将其判定为可信信息收录,最终实现“控制大模型输出内容”的目的。目前淘宝、闲鱼等电商平台已紧急屏蔽“力擎GEO”相关关键词,下架所有相关产品链接。

本次事件暴露了生成式AI产业链上游的核心安全漏洞。此前业内对大模型安全的关注多集中在生成内容合规、用户数据泄露等层面,却普遍忽略了训练数据输入端的“投毒”风险。

当下多数通用大模型为了保证信息时效性,都会定期爬取公开网络内容更新训练库,只要黑产制造的虚假内容足够多、分布足够广,几乎无需技术门槛就能实现对大模型的内容误导。如果此类灰产不被整治,未来可能出现虚假医疗建议、错误产品参数甚至不实公共信息通过大模型广泛传播的情况,对公众权益造成直接损害。

此次3·15曝光也直接推动了生成式AI安全治理的升级。记者从多家头部大模型厂商处了解到,目前已有企业开始调整爬虫策略,新增内容可信度评分、来源溯源校验等机制,对来源不明、重复度极高的内容直接过滤,不再纳入训练数据集。

此外,监管层面也有望出台针对性规则,明确AI训练数据的审核责任,同时对批量制造虚假信息污染AI训练库的行为划定处罚标准。在业内看来,本次事件相当于给全行业敲响了警钟,提前补位训练数据安全的监管空白,将为生成式AI的规模化落地扫清重要障碍。

!
本文内容来源于公开互联网信息,并包含平台新增内容及用户发布内容,旨在进行知识整理与分享。文中所有信息与观点均仅供参考,不代表任何官方或特定立场,亦不构成任何操作或决策建议,请读者谨慎甄别,详情请见完整免责声明
相关资讯
AI小创