如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

紅隊演練

在部署前探查 AI 系統遭濫用的風險與資安風險。

紅隊演練運用對抗性測試案例,協助你在部署前找出可能造成傷害、危及資安或違反政策的系統行為。紅隊演練著重於一般品質測試可能忽略的濫用情境、失效模式與高風險互動,可與評估測試相輔相成。

重要:你只能向 OpenAI Red Teaming 提交自己擁有或已獲明確授權測試的程式碼或其他資產。未經 OpenAI 明確書面許可,不得使用 OpenAI Red Teaming 分析或回報開源程式碼或任何第三方程式碼中的漏洞。

使用開源框架 Promptfoo 進行紅隊演練

Promptfoo 是一套開源框架,可用來評估提示詞、智慧體與 AI 應用程式。透過其紅隊演練工作流程,你可以產生對抗性測試案例、觀察受測系統的行為,並根據測試結果改進系統。

如需進一步瞭解開源紅隊演練的方法,請參閱 Promptfoo 的 LLM 紅隊演練指南。

企業客戶適用的服務

企業客戶若需要透過代管服務為 AI 應用程式與智慧體進行紅隊演練,可以使用 OpenAI Red Teaming。相較於在本機獨立執行的工作流程,企業工作流程能支援更廣泛的協調、審查與報告需求。

紅隊演練與評估測試

使用評估測試檢驗 AI 系統的行為是否符合預期。透過紅隊演練,觀察系統面對對抗性輸入、涉及濫用的輸入或非預期輸入時的反應。成熟的評估計畫通常會同時採用這兩種方法。