Promptfoo是一款专为AI应用开发打造的安全测试工具,核心定位是将AI安全测试嵌入开发全流程,从集成、测试到修复形成完整闭环,适配多种开发环境与部署模式,无论是本地部署还是云端的AI应用、智能体都可接入。和传统后置的AI安全测试模式不同,Promptfoo将安全检测融入日常开发流程,帮助团队在开发早期就发现潜在AI安全风险,避免上线后出现安全问题,大幅降低安全问题的修复成本,适合需要开发安全合规AI应用的团队使用。
针对通用AI应用,Promptfoo可以生成数千个匹配应用上下文的定制化攻击测试,能够挖掘出常规人工测试难以发现的AI安全漏洞;在CI/CD流程中接入后,可在每次代码提交时自动完成安全检测,直接在拉取请求中输出安全问题与修复建议,帮助团队实现持续的AI安全监控,保障迭代过程的安全性;针对自定义业务场景的AI智能体,也可以调整攻击流匹配业务需求,精准测试业务特有的安全风险。

10 小时前
2026年3月31日,DeepMind创始人、“DeepMind之父”德米斯·哈萨比斯公开发声,警告当前在研的超级人工智能存在导致人类灭绝的潜在风险,全球范围内的AI研发竞赛已进入不可逆的失控状态,传统外部治理手段难以实现有效管控,这一表态引发科技界对AI安全窗口期快速收窄的普遍担忧。

15 小时前
2026年3月31日,全球头部AI网关开发商LiteLLM正式宣布终止与合规服务商Delve的所有合作,将转由竞品机构重新开展安全认证。此前LiteLLM开源版本遭遇凭证窃取恶意攻击,暴露出Delve为其颁发的两项安全认证存在审计失职,甚至涉嫌数据造假、雇佣无资质审计人员,引发全行业对AI基础设施合规体系的信任质疑。

15 小时前
美国知名AI网关初创企业LiteLLM于2026年3月正式宣布终止与合规服务商Delve的全部合作。此前LiteLLM曾通过Delve获得两项安全合规认证,上周该公司遭遇大规模凭据窃取恶意软件攻击,经溯源相关安全漏洞与Delve提供的服务存在直接关联,事件已引发AI服务供应链安全的全行业讨论。

1 天前
2026年3月30日,蚂蚁AI安全实验室完成对开源自主智能体框架OpenClaw的专项安全审计,共计发现33个安全漏洞。目前OpenClaw最新的2026.3.28版本已完成8个漏洞的修复,包含1个严重级漏洞、4个高危漏洞与3个中危漏洞。蚂蚁集团表示将持续跟进该项目安全风险,助力AI智能体产业安全落地。

1 天前
2026年3月第三方机构Indagari对2800万美国消费者信用卡交易数据的监测显示,AI创企Anthropic旗下大模型产品Claude的付费订阅用户年内已实现翻倍,增长主要受首席执行官Dario Amodei拒绝将模型用于军事致命用途的安全立场、超级碗营销投放及高阶开发者工具上线三大因素驱动,民用市场订阅量创下历史新高。

4 天前
2026年3月27日,据内部泄露文件显示,AI企业Anthropic旗下新一代大模型Claude Mythos已进入秘密测试阶段。该模型归属Anthropic全新推出的Capybara技术层级,综合性能全面超越此前的行业标杆Claude Opus,是Anthropic发展史上规模最大的技术跃迁之一,相关信息曝光后迅速引发业内对技术迭代与AI安全的双重讨论。

5 天前
AI大模型厂商Anthropic近日宣布为旗下AI编程工具Claude Code新增自动运行模式,该功能配套上线用户权限分级管控机制,可自动识别高风险代码运行操作并触发人工验证流程,测算显示可将编程任务误操作风险降低42%,大幅提升企业级用户批量处理编程、运维类自动化任务的效率与安全性。

6 天前
美国AI初创公司Anthropic近日为旗下代码生成工具Claude Code推出全新自动运行模式,该模式可将AI执行复杂开发任务时所需的人工审批步骤最高减少65%,同时通过多层内置安全防护机制规避操作风险,这一产品迭代也代表了当前生成式AI工具从辅助操作向半自主执行进化的核心行业趋势。