レッドチーミングは、敵対的なテストケースを使って、安全性やセキュリティ上の問題がある挙動、ポリシーに違反する挙動をデプロイ前に発見するための手法です。通常の品質テストでは見つからない可能性のある悪用ケース、障害パターン、リスクの高いやり取りに焦点を当てることで、評価を補完します。
重要：OpenAI Red Teaming に提出できるのは、自身が所有するか、テストする明示的な許可を得ている コードやその他の資産のみです。OpenAI の書面による明示的な許可なく、 OpenAI Red Teaming を使用して、オープンソースや第三者のコードの 脆弱性を分析または報告しないでください。
Promptfoo を使ったオープンソースのレッドチーミング
Promptfoo は、プロンプト、エージェント、AI アプリケーションを評価するためのオープンソースフレームワークです。レッドチーミングのワークフローを通じて、敵対的なテストケースを生成し、対象の挙動を調べ、その結果をシステムの改善に活用できます。
オープンソースを活用した手法の全般については、Promptfoo の LLM レッドチーミングガイドを参照してください。
エンタープライズ向けの提供
OpenAI Red Teaming は、AI アプリケーションやエージェントのレッドチーミングにマネージドサービスを必要とするエンタープライズのお客様向けに提供されています。エンタープライズ向けのワークフローは、ローカルで完結するワークフローよりも幅広い連携、レビュー、レポート作成のニーズに対応できます。
レッドチーミングと評価
AI システムが意図どおりに動作するかどうかを測定するには、評価を使用します。敵対的な入力、悪用を目的とする入力、想定外の入力に対してシステムがどう動作するかを検証するには、レッドチーミングを使用します。成熟した評価プログラムでは、多くの場合、両方を組み合わせています。