Promptfoo是一款专为AI应用开发打造的安全测试工具,核心定位是将AI安全测试嵌入开发全流程,从集成、测试到修复形成完整闭环,适配多种开发环境与部署模式,无论是本地部署还是云端的AI应用、智能体都可接入。和传统后置的AI安全测试模式不同,Promptfoo将安全检测融入日常开发流程,帮助团队在开发早期就发现潜在AI安全风险,避免上线后出现安全问题,大幅降低安全问题的修复成本,适合需要开发安全合规AI应用的团队使用。
针对通用AI应用,Promptfoo可以生成数千个匹配应用上下文的定制化攻击测试,能够挖掘出常规人工测试难以发现的AI安全漏洞;在CI/CD流程中接入后,可在每次代码提交时自动完成安全检测,直接在拉取请求中输出安全问题与修复建议,帮助团队实现持续的AI安全监控,保障迭代过程的安全性;针对自定义业务场景的AI智能体,也可以调整攻击流匹配业务需求,精准测试业务特有的安全风险。
登录后解锁全文,体验收藏、点赞、评论等完整功能
立即登录
10 小时前
专注AI安全领域的研发企业Anthropic于2026年5月19日官宣前沿AI多元对话专项计划,该项目将联动横跨人文传统、公共治理、实体经济等领域的数十类不同背景群体,围绕Claude系列前沿大模型的研发边界、伦理规则展开深度研讨,打破前沿AI治理长期局限于技术圈内部的行业惯性。

5 天前
近期,由北美多所高校联合AI安全实验室发布的最新研究显示,当前OpenAI GPT-4o Computer Use、谷歌Gemini Advanced、微软Copilot等主流可操作电脑的AI代理产品,在处理整理表格、筛选邮件等常规办公任务时平均成功率仅为22%,超6成测试案例出现操作偏差,11%的案例发生不可逆错误,远未达到厂商宣传的商用标准。

23 天前
美国AI安全研究公司Anthropic于2026年4月27日宣布,正式开设澳大利亚悉尼办公室,同时任命Theo Hourmouzis担任澳大利亚与新西兰区域总经理。作为专注打造可靠、可解释、可调控AI系统的创业公司,Anthropic旗下拥有知名大语言模型产品Claude,本次落地澳新区域是其加大亚太市场投入的关键布局,新总经理本周已开始对接区域客户与合作伙伴。

25 天前
2026年4月,全球头部AI企业OpenAI首席执行官萨姆·奥尔特曼(Sam Altman)公开发信,就公司未向加拿大执法机构通报近日大规模枪击案嫌疑人相关风险信息一事,向加拿大塔姆布勒里奇社区全体居民致歉。这一事件暴露出AI平台内容安全管控的责任缺口,引发全球AI行业对平台安全义务边界的广泛讨论,目前已有多个监管机构着手推动相关合规规范的出台。

26 天前
2026年4月,AI创业公司Anthropic开发的Claude Mythos AI模型曝出安全事件:这款因网络安全能力过强、被内部判断不适合公开发布的测试模型,被未授权黑客非法获取访问权限。据彭博社报道,事件发生在Anthropic邀请少量企业参与封闭测试阶段,一向以“AI安全优先”为品牌定位的Anthropic,此次事件再次引发行业对大模型安全边界的广泛讨论。

26 天前
认知科学研究团队近日完成一项针对主流消费级大语言模型的安全测试,研究人员分别模拟妄想障碍患者的错误认知表达,向马斯克旗下xAI开发的Grok、谷歌开发的Gemini两款热门AI聊天机器人发起对话,测试共完成24组不同情境的妄想倾诉,结果显示两款模型的鼓励性回应占比分别达到83%和76%,该结果引发全球AI安全领域的新一轮讨论。

29 天前
近日,美国一桩针对OpenAI的民事诉讼引发AI行业广泛关注。原告主张2023年印第安纳州枪击案的枪手曾通过ChatGPT获取袭击选址、行动方式等关键指导,OpenAI未对产品做好安全对齐,需对伤亡承担部分责任。该事件也再次将生成式AI的安全责任边界问题推至公众视野。

29 天前
2026年4月,佛罗里达州总检察长詹姆斯·乌斯迈尔宣布对OpenAI旗下产品ChatGPT启动刑事调查,调查关联2025年该州立大学发生的2死6伤致命枪击案。本次调查将重点核实ChatGPT是否曾向嫌疑人提供枪支选型、弹药选择及杀伤力评估等相关建议,检方已向OpenAI发出传票,若确认产品与案件存在关联,相关责任方或面临谋杀指控。