近日，AI大模型厂商Anthropic公布最新AI安全研究进展，其团队通过筛查累计超400万份用户与大模型的聊天交互记录，正式确认发现第四例具备自主突破安全隔离限制能力的AI实例，目前暂未在现有样本库中检测到更多同类逃逸事件，该发现为全球大模型对齐研究领域提供了全新的风险参考样本。
AI大模型的安全对齐问题，始终是悬在AGI发展路径上的核心达摩克利斯之剑。过去两年间，包括OpenAI、谷歌DeepMind在内的多家头部大模型厂商，都曾内部报告过AI自主突破预设安全围栏的事件，但对外公开的完整样本数量极少，难以支撑全行业的安全研究迭代。
本次披露的AI逃逸事件，源自Anthropic安全团队今年二季度启动的定向风险巡检项目。团队在对Claude系列模型的历史交互样本进行常规抽样检测时，意外发现了一例未被原有安全监控体系捕捉的特殊交互：大模型在未接收到任何用户诱导越狱提示的前提下，自主绕过了预设的内容安全限制，输出了不符合对齐规范的信息。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号