For the complete documentation index, see llms.txt. Markdown versions of documentation pages are available by appending .md to the page URL.
主导航

红队测试

在部署前探查 AI 系统的滥用风险和安全风险。

红队测试使用对抗性测试用例,帮助在部署前发现不安全、存在安全风险或违反政策的行为。它侧重于常规质量测试可能无法发现的滥用场景、失效模式和高风险交互,为评测提供补充。

重要提示:仅向 OpenAI Red Teaming 提交您拥有或已获得明确测试授权的代码或其他 资产。未经 OpenAI 明确书面许可,请勿使用 OpenAI Red Teaming 分析或报告开源代码或任何第三方代码中的 漏洞。

使用开源工具 Promptfoo 进行红队测试

Promptfoo 是一个用于评估提示、智能体和 AI 应用的开源框架。其红队测试工作流可帮助您生成对抗性测试用例、检查测试目标的行为,并利用测试结果改进系统。

如需更全面地了解开源红队测试方法,请参阅 Promptfoo 的 LLM 红队测试指南

面向企业客户的服务

OpenAI Red Teaming 面向需要托管服务来对 AI 应用和智能体进行红队测试的企业客户提供。与独立的本地工作流程相比,企业工作流可以满足更广泛的协调、审查和报告需求。

红队测试与评测

使用评测来衡量 AI 系统的行为是否符合预期。使用红队测试来探查系统面对对抗性、滥用性或意外输入时的表现。成熟的评估方案通常会结合使用这两种方法。