登录体验完整功能(收藏、点赞、评论等) — 已累计有 9481 人加入

微软开源两款AI智能体安全运维工具 覆盖全开发生命周期

近日微软正式面向全球开发者开源两款面向AI智能体场景的安全工程工具,由微软AI安全工程团队主导研发,针对当前行业内近七成智能体开发项目缺少标准化安全运维链路的痛点,这套工具可实现从开发测试到上线运行全周期的持续风险校验,将智能体非预期行为的触发概率降低超65%,填补了智能体落地阶段的安全工具空白。

过去半年里,全球范围内已有十余款面向C端和企业服务场景的AI智能体曝出安全漏洞,包括被诱导绕过权限限制访问私密数据、恶意调用付费接口产生高额账单等问题,多数开发团队在快速迭代智能体交互能力的过程中,普遍把安全校验环节后置,无法适配智能体自主决策、持续运行的特殊属性。

不同于传统静态软件的固定执行逻辑,AI智能体依托大语言模型的生成式能力,可以动态响应用户指令、自主调用外部工具,传统基于特征匹配的安全防护方案很难覆盖所有的潜在风险场景。据行业公开调研数据,2024年上半年全球公开披露的AI智能体安全事件同比增长320%,其中超过7成的安全问题并非来自基础大模型的缺陷,而是开发运维流程中缺少标准化的持续风险校验能力。

此次微软推出的两款全新安全工具,正是基于其自家Copilot系列智能体产品积累的实战安全经验开发而成。其中Agent Safety Orchestrator负责把多层动态安全校验规则嵌入智能体的每一次决策调用流程,无需重构现有智能体的底层代码即可实现行为拦截;另一款Continuous Red Teaming Engine则支持自动化生成对抗性测试用例,7*24小时不间断扫描智能体的潜在漏洞。

免责声明:本网站AI资讯内容仅供学习参考,不构成任何建议,不对信息准确性与完整性负责。
相关资讯