Le red teaming utilise des cas de test adversariaux pour repérer, avant le déploiement, des comportements dangereux, présentant des failles de sécurité ou contraires aux politiques. Il complète les évaluations en ciblant les utilisations abusives, les modes de défaillance et les interactions à haut risque que les tests de qualité habituels peuvent ne pas révéler.
Important : Ne soumettez à OpenAI Red Teaming que du code ou d’autres ressources qui vous appartiennent ou que vous avez expressément l’autorisation de tester. N’utilisez pas OpenAI Red Teaming pour analyser ou signaler des vulnérabilités dans du code open source ou tout autre code tiers sans l’autorisation écrite expresse d’OpenAI.
Utilisez Promptfoo pour le red teaming en open source
Promptfoo est un framework open source qui permet d’évaluer des prompts, des agents et des applications d’IA. Ses workflows de red teaming vous aident à générer des cas de test adversariaux, à examiner le comportement du système ciblé et à exploiter les résultats pour améliorer votre système.
Pour une présentation plus générale de la méthodologie open source, consultez le guide de red teaming des LLM de Promptfoo.
Disponibilité pour les entreprises
OpenAI Red Teaming est disponible pour les entreprises qui ont besoin d’une offre gérée de red teaming pour leurs applications et agents d’IA. Les workflows destinés aux entreprises peuvent répondre à des besoins de coordination, de révision et de reporting plus larges qu’un workflow local autonome.
Red teaming et évaluations
Utilisez les évaluations pour mesurer si un système d’IA se comporte comme prévu. Utilisez le red teaming pour explorer son comportement face à des entrées adversariales, abusives ou inattendues. Les programmes d’évaluation matures combinent souvent ces deux approches.