近日,微软针对自主执行多场景任务的AI代理(AI Agent)产品更新了安全风险分类框架,新增7类此前未被纳入通用安全体系的新型攻击路径。该框架将帮助行业统一AI Agent安全漏洞的表述标准,推动相关安全修复方案的落地,目前AI Agent已在企业办公、生产调度等场景规模化落地,相关漏洞潜在影响覆盖超千万企业用户。

过去一年,AI Agent已经成为继通用大模型之后人工智能领域落地最快的产品方向:从C端用户常用的定制化GPTs,到企业级的微软365 Copilot智能调度模块,具备自主规划、工具调用能力的AI Agent正在承接越来越多涉及核心数据、高权限操作的工作。但与此相对的是,行业始终没有形成统一的AI Agent安全漏洞分类标准,大量上报的安全事件因为定义模糊无法被快速复现修复。
此前行业针对AI产品的安全检测主要围绕大语言模型本身展开,覆盖幻觉输出、提示词注入、数据泄露等常规风险,但AI Agent的运行逻辑和传统大模型产品存在本质区别:其不仅会调用大模型生成内容,还会自主读取用户历史数据形成长期记忆、调用第三方工具完成操作、甚至和其他AI Agent协作完成复杂任务,这些环节都存在此前未被覆盖的安全盲区。
登录后解锁全文,体验收藏、点赞、评论等完整功能
立即登录