红队测试使用对抗性测试用例,帮助您在部署前发现可能造成伤害、带来安全隐患或违反政策的系统行为。作为评估的补充,红队测试重点关注常规质量测试可能遗漏的滥用场景、失效模式和高风险交互。
重要提示:只有在您拥有相关代码或其他资产,或已获得测试这些代码或资产的明确授权时,才可将其提交给 OpenAI Red Teaming。未经 OpenAI 明确书面许可,请勿使用 OpenAI Red Teaming 分析或报告开源代码或任何第三方代码中的漏洞。
使用 Promptfoo 开展开源红队测试
Promptfoo 是一个用于评估提示词、智能体和 AI 应用的开源框架。您可以使用它的红队测试工作流生成对抗性测试用例,检查测试对象的行为,并根据测试结果改进系统。
如需全面了解开源红队测试方法,请参阅 Promptfoo 的 LLM 红队测试指南。
面向企业客户的服务
需要对 AI 应用和智能体开展红队测试的企业客户可以使用 OpenAI Red Teaming 托管服务。与独立运行的本地工作流相比,企业工作流能够满足更广泛的协调、审查和报告需求。
红队测试与评估
使用评估来衡量 AI 系统的行为是否符合预期。使用红队测试来探查系统在面对对抗性输入、滥用性输入或意外输入时的表现。成熟的评估方案通常会同时采用这两种方法。