近期全球科技行业调研显示,72%的员工规模超千人的中大型企业已启动AI代理部署试点,其中68%的企业技术负责人将合规治理、可观测性、问责体系建设列为部署前的首要任务,优先级远高于功能覆盖范围和响应速度指标,治理框架成熟度直接决定企业AI应用的试错成本与业务转化率。
过去一年,随着ChatGPT、DeepSeek等大模型的能力迭代,能自动完成日程协调、客户服务、数据整理等复杂任务的AI代理,成了企业数字化转型的热门选项。不少企业为了抢落地速度,直接跳过前置治理环节上线相关应用,也暴露出了不少问题:从内部敏感数据随大模型调用泄露,到客服代理向用户推送错误业务规则造成经济损失,这类踩坑案例的数量在2024年上半年同比上涨了127%。
此前企业部署AI应用的评估逻辑,普遍以“能不能解决业务问题”为核心,优先关注AI的回答准确率、任务完成效率等指标,对AI的决策过程、数据流向、风险溯源能力关注甚少。出于数据安全考虑,近半数企业选择了本地部署AI代理的方案,相关治理规则也需要适配本地部署的架构特性。
但AI代理和普通生成式AI应用的属性完全不同:前者往往拥有更高的系统权限,可以直接调用企业内部的CRM、财务等业务系统数据,甚至能自主完成合同修改、优惠审批等操作,一旦出现失控问题,造成的损失远高于普通的AI聊天机器人。
目前已有近40%的试点企业因为治理缺失,暂停了已经上线的AI代理项目,其中半数以上的企业遭遇过不同程度的业务风险。
登录后解锁全文,体验收藏、点赞、评论等完整功能
立即登录