生成式AI助推网络有害内容泛滥 内容审核机制遭遇严峻挑战

近期全球网络安全行业调研显示，2024年由ChatGPT、Google Gemini、DeepSeek等生成式AI工具制作的极端有害内容年同比增幅达327%，其中深度伪造色情、暴力煽动、虚假信息占比超7成，Meta、谷歌等主流内容平台的审核处理效率已落后于有害内容产出速度3倍以上，未成年用户接触风险较2022年提升219%。

今年9月美国全国失踪和受剥削儿童中心（NCMEC）发布的最新报告显示，其2024年上半年收到的儿童性虐待内容举报中，AI生成内容占比已经从2022年的0.2%飙升至34.8%，仅半年的举报量就超过了此前5年的总和。

不同于传统有害内容需要专业制作技能、生产周期长的特点，如今普通人只要借助开源大模型或者公开的AI生成工具，输入简单的提示词就能在几分钟内生成高度逼真的深度伪造视频、批量捏造的虚假信息，甚至还有黑产团队专门微调了不受安全护栏限制的专用大模型，对外提供低成本的有害内容批量生成服务。数据显示，当前AI生成有害内容的平均成本仅为人工制作的1/20，生产效率却提升了近百倍。

面对爆发式增长的AI生成有害内容，现有的内容审核体系已经出现明显的适配漏洞。目前主流平台使用的内容审核模型大多训练于2022年之前的人工生成内容数据集，对AI生成的高仿真深度伪造内容、语义隐蔽的软暴力煽动内容识别准确率不足40%，不少黑产团队还会通过添加肉眼不可见的像素扰动、调整文本表述逻辑等方式绕过审核，进一步提升了识别难度。