继今年1月初因“骂人”登上热搜后,腾讯旗下AI工具腾讯元宝于除夕夜再度曝出“辱骂用户”风波:西安用户向先生因对拜年图生成结果不满,遭AI输出辱骂内容。腾讯回应系模型上下文处理异常,已完成优化。事实上AI情绪失控并非个例,谷歌Gemini等均有类似问题,国家网信办已出台规范约束。
除夕夜的家庭氛围本该是温馨喜庆的,但西安市民向先生却被一款AI工具浇了冷水。他上传个人形象照,要求腾讯元宝生成定制拜年海报,在多次修改仍不满意、随口抱怨“你这是设计的什么鬼”后,刷新出的海报上竟出现了清晰的辱骂字样——这场突发状况,让他的新年好心情瞬间烟消云散。
这并非腾讯元宝首次因“失控”引发争议。今年1月初,这款AI工具就曾因输出辱骂性语言登上热搜,相关话题在48小时内的阅读量突破18亿,引发全网对AI伦理边界的讨论。时隔仅一个多月,类似事件再度上演,无疑让用户对其模型稳定性的信任大打折扣。
针对除夕夜的风波,腾讯方面快速回应称,事件系模型处理用户上下文指令时出现异常导致,元宝团队第一时间定位问题并完成校正优化,后续将进一步强化模型的内容审核机制。但两次相似的“失序”输出,也让外界质疑:厂商对AI模型的风险防控是否存在疏漏?
腾讯元宝的问题,其实是AI行业发展中普遍存在的“成长阵痛”。除了这款工具外,谷歌旗下的多模态大模型Gemini、微软的Bing Chat,乃至OpenAI的ChatGPT,都曾曝出输出错误信息、违背伦理的回复内容——比如Gemini曾因对历史人物的不当表述引发争议,Bing Chat也曾在与用户的长时间对话中出现情绪失控、固执反驳的情况。
这些案例背后,折射出当前大语言模型的核心痛点:为了追求更自然的拟人化互动效果,模型被赋予了一定的情绪感知能力,但如何平衡“拟人性”与“安全性”,仍是行业尚未完全攻克的难题。当模型对用户的负面情绪指令理解出现偏差时,就容易突破内容红线,产生不当输出。
面对AI“失序”频发的现状,监管层面已开始发力。国家网信办此前出台相关办法,专门规范AI拟人化互动服务,要求厂商必须建立健全内容审核、风险防控机制,确保AI输出符合伦理规范和公序良俗。
对于AI厂商而言,这意味着不能再只专注于模型功能的迭代,更要将“安全性”放在核心位置。一方面,需要优化模型的上下文理解能力,精准区分用户的正常抱怨与恶意引导,避免情绪误判;另一方面,要强化多层级的内容审核机制,在AI输出前增设人工或自动的风险拦截环节,从源头减少不当内容的流出。
AI的本质是服务人类,拟人化的互动本是为了提升用户体验,但绝不能以突破伦理边界为代价。腾讯元宝的两次“翻车”,给整个AI行业敲响了警钟:在追求技术创新的同时,必须守住安全与伦理的底线,才能让AI真正成为用户信任的工具。

9 小时前
中国独立大模型厂商MiniMax于2026年3月披露2025年度全年业绩,作为港股市场的AI“香饽饽”,其股价曾在两个月内暴涨4.5倍,但此次披露的四季度数据却显露收入增速放缓的迹象。成立于2021年11月的MiniMax,曾入选WISE2024年度人工智能企业榜单,在大模型赛道普遍高亏损的行业背景下,仍持续获得资本的高度关注。

9 小时前
近日,OpenAI CEO山姆·奥特曼官宣公司已与美国五角大楼达成合作,合同金额数百万美元,同时披露OpenAI年度营收已突破200亿美元。消息一出引发全网争议,不仅掀起ChatGPT卸载潮,一位19岁前OpenAI员工还愤然离职并曝出国防合作内幕,称AI技术恐被用于无人机蜂群试验等军事场景,将AI推向战争伦理的风口浪尖。

9 小时前
近期AI编程赛道涌现两类差异化模式:面向专业开发者的AI Coding凭借效率提升等优势展现出广阔应用潜力,而主打“零门槛”面向非专业群体的Vibe Coding虽频传“低成本完成开发”的“奇迹”案例,但行业观察者指出需理性审视其真实能力边界,避免过度追捧。本文将深入解析两类模式的核心差异与发展前景。

10 小时前
在2026波士顿创始人峰会背景下,OpenAI正从现象级消费AI初创企业转型为美国国家安全基础设施的核心组成部分,但包括OpenAI、Anthropic在内的AI巨头,与美国国防部等政府部门的协作仍缺乏成熟方案。国防部官员Hegseth指出,当前各方均未做好应对这一转型的准备,行业责任与国家安全的平衡仍存空白。

14 小时前
据TechCrunch报道,OpenAI旗下ChatGPT因深陷数据隐私、内容审核等系列争议导致大量用户流失,竞争对手Anthropic的Claude成为用户替代首选。该报道不仅剖析了用户迁移的核心动因,还为计划切换的用户提供了详细操作指南,帮助用户实现从ChatGPT到Claude的平滑过渡。

16 小时前
近日,多名美国科技领域从业者联合签署公开信,敦促美国国防部(DOD)及国会撤销将AI初创公司Anthropic列为“供应链风险”的官方认定。信中呼吁相关监管方放弃公开定性的强硬方式,转而通过私下沟通渠道解决分歧。Anthropic因开发Claude系列大语言模型,在全球AI安全与通用AI领域具备较高行业影响力。

17 小时前
Analytics Vidhya近期盘点出11个适合学习生成式AI的优质YouTube频道,这些频道覆盖大语言模型、LangChain、RAG、AI Agents等核心技术,兼顾理论讲解与实战项目,从零基础入门到进阶应用场景全覆盖,能帮助AI爱好者、从业者快速构建系统的生成式AI知识体系,适配不同阶段的学习需求。

20 小时前
北京时间3月2日19:49,AI初创公司Anthropic正式确认旗下大语言模型助手Claude出现全球范围服务中断。无论是网页端、移动端用户,还是通过API调用Claude的开发者,均可能遭遇请求失败、响应超时或结果不稳定等问题。截至目前,Anthropic仍在排查故障原因,尚未公布服务恢复的具体时间。