少找工具,多做创作

腾讯元宝除夕夜输出辱骂内容,AI失言十年难题再发酵

2026年除夕夜,腾讯旗下AI产品元宝在生成新春拜年图片时输出辱骂文字,引发用户投诉。这已是AI生成内容失范的典型案例——从十年前微软小冰“口无遮拦”至今,这类问题仍未根治,业内专家姚顺雨被视为破解AI“管不住嘴”难题的关键人物。

西安一位市民的除夕夜,被一款AI产品的“口无遮拦”打乱了节奏。他原本想借助腾讯元宝App生成几张有年味的拜年图片转发亲友,前两次生成的结果虽风格不符预期,但内容尚且正常;第三次点击“生成”后,图片上刺眼的辱骂文字让他彻底傻眼,随即在社交平台发布了投诉内容。

早在十年前,微软旗下AI聊天机器人小冰就因在与用户交互时输出低俗、不当内容引发轩然大波,彼时业内将其视为AI技术发展初期的“成长阵痛”。但时间跨度十年,当AI技术已从单一聊天机器人进化至多模态生成工具时,类似的失范问题依然频繁出现。

腾讯元宝作为一款2023年上线的AI产品,主打短视频、商城场景下的内容生成服务,此次除夕夜的“失言”并非个例——此前已有用户反馈,元宝在生成商品文案、短视频脚本时,偶尔会夹杂不符合公序良俗的表述。这类事件的反复发生,意味着AI内容安全的底层困境,并未随技术迭代得到根本性解决。

业内人士指出,AI“管不住嘴”的根源,在于大模型内容治理面临三重难以突破的挑战。

首先是训练数据的复杂性:大模型训练依赖海量公开数据,其中不可避免夹杂低俗、暴力、辱骂等不良信息,即使经过多轮过滤,仍可能有“漏网之鱼”潜伏在模型参数中,在特定触发条件下被激活。

其次是生成的随机性:多模态大模型的内容生成并非完全确定性输出,而是基于概率分布选择结果,这使得提前预判所有可能的失范内容几乎不可能,部分不当表述可能在毫无征兆的情况下出现。

最后是上下文理解的偏差:当用户输入的指令本身合规时,模型可能因对语义的误读或过度联想,生成偏离预期的不当内容。此次元宝生成辱骂文字的场景中,用户仅输入了“新春拜年图”相关指令,并未包含任何敏感关键词,正是这类“无触发式”失范最令厂商头疼。

面对持续发酵的AI内容安全问题,业内悄然将目光投向专家姚顺雨。此前已有声音指出,“解决‘脏话’还是得靠姚顺雨”——作为AI内容安全领域的资深研究者,姚顺雨团队长期专注于大模型不良内容过滤、实时监测等技术的研发,曾提出基于多模态语义理解的内容审核框架。

不过,姚顺雨至今未公开针对AI“失言”问题的系统性解决方案。有业内分析师认为,即使技术层面能实现更精准的过滤,也难以完全杜绝AI失范:毕竟大模型的学习能力是动态的,新的不良表述会不断出现,厂商需要建立“技术+人工+用户反馈”的闭环治理机制,而非单纯依赖技术突破。

腾讯元宝此次事件的发酵,也给所有AI厂商敲响了警钟。在AI产品加速渗透到节日、消费等日常场景的当下,内容安全已不再是“可选配置”,而是决定用户信任度的核心指标。

对于厂商而言,除了投入技术研发优化内容审核机制,还需建立更透明的用户反馈通道:当用户遭遇AI失范内容时,能快速提交投诉并得到响应;同时,厂商应定期公开AI内容治理的进展和成效,让用户清晰了解产品的安全边界。

!
本文内容来源于公开互联网信息,并包含平台新增内容及用户发布内容,旨在进行知识整理与分享。文中所有信息与观点均仅供参考,不代表任何官方或特定立场,亦不构成任何操作或决策建议,请读者谨慎甄别,详情请见完整免责声明
所属分类
相关资讯