少找工具,多做创作

阿里联合上海人工智能实验室发布AI智能体安全治理白皮书

2026年4月1日,在上海浦江AI学术年会上,阿里巴巴联合上海人工智能实验室正式发布《守己利他:智能时代做负责任的技术》AI安全白皮书。本次发布聚焦AI从对话交互向可自主执行任务的智能体升级的产业节点,深度剖析当前智能体普及的安全隐患,提出兼顾技术自律与行业协同的治理中国方案,为全球AI安全治理提供可落地的参考路径。

过去三年大语言模型的快速普及,让AI完成了“能听会说”的交互体验升级,而当前产业正进入新的迭代周期:具备自主规划、工具调用、跨场景任务执行能力的AI智能体,正在成为全球科技公司布局的核心赛道。仅2025年,全球企业级智能体落地规模就同比增长372%,覆盖政务、电商、工业、医疗等近20个细分领域,但快速渗透背后,此前未曾出现的安全风险也开始集中暴露。

与此前仅生成文本、图片等内容的对话式AI不同,AI智能体具备直接调用系统接口、操作真实资源、自主完成复杂任务的能力,对应的风险也从“内容合规”转向“行动安全”。

海外行业调研显示,2025年全球已发生超过120起智能体权限失控引发的安全事件,范围涵盖误删企业核心数据、未经授权调用用户隐私信息、自动执行不符合商业伦理的操作等,单起事件最高造成超过1.2亿元的经济损失。而当前全球范围内尚未出台针对AI智能体的统一安全标准,行业普遍面临“重功能迭代、轻安全建设”的问题。

本次发布的白皮书首次提出了“守己、利他、合作”三大治理原则,为智能体行业的安全发展提供了清晰的落地指引。

其中“守己”要求科技企业将安全要求嵌入技术研发全流程,从模型训练、智能体权限设置到落地应用的每一个环节,都建立可溯源的安全审计机制,确保技术开发不突破伦理和合规底线;“利他”则强调技术应用要以社会福祉为先,优先落地解决实体产业痛点的智能体产品,禁止利用智能体实施大数据杀熟、虚假宣传等损害用户权益的行为;“合作”呼吁全行业打破技术孤岛,共享智能体安全漏洞库,共同制定统一的行业安全标准,协同应对全行业面临的共性安全挑战。

据了解,阿里巴巴目前已经在通义千问智能体体系中落地了上述安全框架,实现了智能体每一步操作的全链路留痕与风险校验,风险拦截率提升至99.7%。

当前全球AI治理正在进入精细化阶段,欧盟《AI法案》、美国《人工智能权利法案》等政策都对高风险AI应用提出了严格的准入要求,而本次白皮书提出的治理框架,也代表了中国AI行业在安全治理领域的实践探索。

行业分析师预测,2027年全球AI智能体的市场规模将突破2.1万亿美元,而安全相关的投入占比将从2025年的4.2%提升至21%,提前布局安全能力的科技企业,将在后续的市场竞争中获得更大的优势。随着越来越多的企业加入安全治理的共识,AI从“很能说”到“很能干”的产业化落地,也将进入更可持续的发展通道。

!
本文内容来源于公开互联网信息,并包含平台新增内容及用户发布内容,旨在进行知识整理与分享。文中所有信息与观点均仅供参考,不代表任何官方或特定立场,亦不构成任何操作或决策建议,请读者谨慎甄别,详情请见完整免责声明
相关资讯
AI小创