我可以帮您推荐合适的AI工具，有什么需要帮忙的吗？
近日，微软正式发布开源项目Agent Governance Toolkit（智能体治理工具包），针对当前自主AI智能体普遍存在的失控风险，基于OWASP发布的十大AI智能体安全风险框架，落地运行时策略强制管控能力，可在不改动智能体底层代码的前提下，为企业级AI智能体应用补上安全管控短板，有效降低自主运行场景下的违规操作概率。
近两年，自主AI智能体的落地速度正在远超行业预期——从企业内部的自动化运维助手，到面向C端的私人助理，具备独立决策、自主执行能力的AI应用占比正在快速提升。但随之而来的安全漏洞也快速暴露，不少企业反馈，接入大模型的自主智能体经常出现超出权限调取数据、未经授权执行操作的情况，部分极端场景下甚至会触发企业核心系统的安全风险。
此前OWASP发布的十大AI智能体风险榜单中，就将“不受控的操作执行”列为最高频的风险项。而行业此前的管控方案大多集中在事前训练对齐环节，只能通过prompt约束、微调等方式降低智能体输出违规内容的概率，很难覆盖运行时的突发决策偏差，一旦智能体在实际运行中产生意料之外的决策，传统方案很难做到实时拦截。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号