近日，人工智能企业OpenAI正式发布自动化红队测试模型GPT-Red，针对当前AI系统深度接入浏览器、本地文件、各类API带来的安全脆弱性问题，采用自博弈强化学习策略开展规模化对抗训练，可将直接提示注入攻击的失败率压低至0.05%，效率与覆盖范围均优于传统人工红队测试，为大模型安全加固与自我迭代开辟了新路径。
随着大模型进入产业落地深水区，安全风险正在从实验室场景向真实业务场景快速传导。据此前行业安全报告统计，近6成接入公开网络的大模型应用都曾遭遇过提示注入、数据越狱等恶意攻击，造成用户隐私泄露、权限被越权调用等问题，安全已经成为大模型规模化落地的核心前提。
过去两年，大模型已经从聊天工具延伸到办公协作、工业控制、金融服务等多个场景，通过浏览器插件、本地文件读取、第三方API调用等能力深度接入真实世界，安全边界也随之无限扩张。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号