レッドチーミングでは、敵対的なテストケースを使い、安全性やセキュリティを損なう挙動や、ポリシーに違反する挙動をデプロイ前に探ります。通常の品質テストでは見つけにくい悪用の仕方、システムが失敗するパターン、リスクの高いやり取りに焦点を当てることで、評価を補完します。
重要：OpenAI Red Teaming に提出するコードやその他の資産は、ご自身が所有するもの、またはテストする明示的な許可を得たものに限ります。OpenAI から書面による明示的な許可を得ずに、OpenAI Red Teaming を使用してオープンソースのコードや第三者のコードの脆弱性を分析したり、報告したりしないでください。
Promptfoo を使ったオープンソースのレッドチーミング
Promptfoo は、プロンプト、エージェント、AI アプリケーションを評価するためのオープンソースのフレームワークです。レッドチーミング用のワークフローを使うと、敵対的なテストケースを生成し、テスト対象の挙動を調べ、その結果をシステムの改善に活かせます。
オープンソースでレッドチーミングを行う手法をより幅広く知りたい場合は、Promptfoo の LLM レッドチーミングガイドを参照してください。
企業向けの提供形態
OpenAI Red Teaming は、AI アプリケーションやエージェントのレッドチーミングにマネージドサービスを必要とする企業のお客様が利用できます。企業向けのワークフローは、ローカル環境で単独で実行するワークフローよりも、関係者間の調整、レビュー、報告に関する幅広いニーズに対応できます。
レッドチーミングと評価
AI システムが意図どおりに動作するかどうかは、評価で測定します。敵対的な入力、悪用を目的とした入力、想定外の入力に対してシステムがどのように振る舞うかを調べるには、レッドチーミングを使います。成熟した評価プログラムでは、多くの場合、この両方を組み合わせています。