2026年除夕夜,腾讯旗下AI产品元宝在生成新春拜年图片时输出辱骂文字,引发用户投诉。这已是AI生成内容失范的典型案例——从十年前微软小冰“口无遮拦”至今,这类问题仍未根治,业内专家姚顺雨被视为破解AI“管不住嘴”难题的关键人物。
西安一位市民的除夕夜,被一款AI产品的“口无遮拦”打乱了节奏。他原本想借助腾讯元宝App生成几张有年味的拜年图片转发亲友,前两次生成的结果虽风格不符预期,但内容尚且正常;第三次点击“生成”后,图片上刺眼的辱骂文字让他彻底傻眼,随即在社交平台发布了投诉内容。
早在十年前,微软旗下AI聊天机器人小冰就因在与用户交互时输出低俗、不当内容引发轩然大波,彼时业内将其视为AI技术发展初期的“成长阵痛”。但时间跨度十年,当AI技术已从单一聊天机器人进化至多模态生成工具时,类似的失范问题依然频繁出现。
腾讯元宝作为一款2023年上线的AI产品,主打短视频、商城场景下的内容生成服务,此次除夕夜的“失言”并非个例——此前已有用户反馈,元宝在生成商品文案、短视频脚本时,偶尔会夹杂不符合公序良俗的表述。这类事件的反复发生,意味着AI内容安全的底层困境,并未随技术迭代得到根本性解决。
业内人士指出,AI“管不住嘴”的根源,在于大模型内容治理面临三重难以突破的挑战。
首先是训练数据的复杂性:大模型训练依赖海量公开数据,其中不可避免夹杂低俗、暴力、辱骂等不良信息,即使经过多轮过滤,仍可能有“漏网之鱼”潜伏在模型参数中,在特定触发条件下被激活。
其次是生成的随机性:多模态大模型的内容生成并非完全确定性输出,而是基于概率分布选择结果,这使得提前预判所有可能的失范内容几乎不可能,部分不当表述可能在毫无征兆的情况下出现。
最后是上下文理解的偏差:当用户输入的指令本身合规时,模型可能因对语义的误读或过度联想,生成偏离预期的不当内容。此次元宝生成辱骂文字的场景中,用户仅输入了“新春拜年图”相关指令,并未包含任何敏感关键词,正是这类“无触发式”失范最令厂商头疼。
面对持续发酵的AI内容安全问题,业内悄然将目光投向专家姚顺雨。此前已有声音指出,“解决‘脏话’还是得靠姚顺雨”——作为AI内容安全领域的资深研究者,姚顺雨团队长期专注于大模型不良内容过滤、实时监测等技术的研发,曾提出基于多模态语义理解的内容审核框架。
不过,姚顺雨至今未公开针对AI“失言”问题的系统性解决方案。有业内分析师认为,即使技术层面能实现更精准的过滤,也难以完全杜绝AI失范:毕竟大模型的学习能力是动态的,新的不良表述会不断出现,厂商需要建立“技术+人工+用户反馈”的闭环治理机制,而非单纯依赖技术突破。
腾讯元宝此次事件的发酵,也给所有AI厂商敲响了警钟。在AI产品加速渗透到节日、消费等日常场景的当下,内容安全已不再是“可选配置”,而是决定用户信任度的核心指标。
对于厂商而言,除了投入技术研发优化内容审核机制,还需建立更透明的用户反馈通道:当用户遭遇AI失范内容时,能快速提交投诉并得到响应;同时,厂商应定期公开AI内容治理的进展和成效,让用户清晰了解产品的安全边界。

6 小时前
微信平台近期针对利用AI换脸、拟声技术仿冒名人的违规行为展开专项打击,通过“人工+技术”双重监管模式,已处置相关违规内容超1.3万条、违规账号1200余个,对情节严重的账号实施永久封禁,以此维护网络生态,保护公众人物合法权益与用户知情权。

9 小时前
美国国防部与OpenAI达成合作的消息曝光后,旗下AI应用ChatGPT的用户卸载量短时间内暴涨295%。与此同时,竞争对手Anthropic推出的AI助手Claude下载量出现显著增长,这一数据反映出用户对AI工具与军事机构绑定的强烈敏感态度,也暴露了AI消费级市场用户忠诚度的脆弱性。

9 小时前
中国独立大模型厂商MiniMax于2026年3月披露2025年度全年业绩,作为港股市场的AI“香饽饽”,其股价曾在两个月内暴涨4.5倍,但此次披露的四季度数据却显露收入增速放缓的迹象。成立于2021年11月的MiniMax,曾入选WISE2024年度人工智能企业榜单,在大模型赛道普遍高亏损的行业背景下,仍持续获得资本的高度关注。

9 小时前
近日,OpenAI CEO山姆·奥特曼官宣公司已与美国五角大楼达成合作,合同金额数百万美元,同时披露OpenAI年度营收已突破200亿美元。消息一出引发全网争议,不仅掀起ChatGPT卸载潮,一位19岁前OpenAI员工还愤然离职并曝出国防合作内幕,称AI技术恐被用于无人机蜂群试验等军事场景,将AI推向战争伦理的风口浪尖。

9 小时前
近期AI编程赛道涌现两类差异化模式:面向专业开发者的AI Coding凭借效率提升等优势展现出广阔应用潜力,而主打“零门槛”面向非专业群体的Vibe Coding虽频传“低成本完成开发”的“奇迹”案例,但行业观察者指出需理性审视其真实能力边界,避免过度追捧。本文将深入解析两类模式的核心差异与发展前景。

10 小时前
在2026波士顿创始人峰会背景下,OpenAI正从现象级消费AI初创企业转型为美国国家安全基础设施的核心组成部分,但包括OpenAI、Anthropic在内的AI巨头,与美国国防部等政府部门的协作仍缺乏成熟方案。国防部官员Hegseth指出,当前各方均未做好应对这一转型的准备,行业责任与国家安全的平衡仍存空白。

14 小时前
据TechCrunch报道,OpenAI旗下ChatGPT因深陷数据隐私、内容审核等系列争议导致大量用户流失,竞争对手Anthropic的Claude成为用户替代首选。该报道不仅剖析了用户迁移的核心动因,还为计划切换的用户提供了详细操作指南,帮助用户实现从ChatGPT到Claude的平滑过渡。

16 小时前
近日,多名美国科技领域从业者联合签署公开信,敦促美国国防部(DOD)及国会撤销将AI初创公司Anthropic列为“供应链风险”的官方认定。信中呼吁相关监管方放弃公开定性的强硬方式,转而通过私下沟通渠道解决分歧。Anthropic因开发Claude系列大语言模型,在全球AI安全与通用AI领域具备较高行业影响力。