Le red teaming s’appuie sur des scénarios de test adversariaux pour repérer, avant le déploiement, les comportements dangereux, ceux qui compromettent la sécurité et ceux qui enfreignent les règles. Il complète les évaluations en ciblant les usages abusifs, les modes de défaillance et les interactions à haut risque que les tests de qualité habituels peuvent laisser passer.
Important : Soumettez à OpenAI Red Teaming uniquement du code ou d’autres ressources dont vous êtes propriétaire ou que vous avez l’autorisation expresse de tester. N’utilisez pas OpenAI Red Teaming pour analyser ou signaler des vulnérabilités dans du code open source ou dans tout code tiers sans l’autorisation expresse et écrite d’OpenAI.
Utilisez Promptfoo pour le red teaming open source
Promptfoo est un framework open source qui permet d’évaluer des prompts, des agents et des applications d’IA. Ses workflows de red teaming vous aident à générer des scénarios de test adversariaux, à examiner le comportement du système testé et à exploiter les résultats pour améliorer votre système.
Pour en savoir plus sur la méthodologie open source, consultez le guide de red teaming des LLM de Promptfoo.
Disponibilité pour les entreprises
OpenAI Red Teaming est disponible pour les entreprises qui ont besoin d’un service géré pour mener des tests de red teaming sur des applications et des agents d’IA. Les workflows d’entreprise peuvent répondre à des besoins de coordination, de revue et de production de rapports plus étendus que ceux qu’un workflow local autonome peut couvrir.
Red teaming et évaluations
Utilisez les évaluations pour vérifier si un système d’IA se comporte comme prévu. Utilisez le red teaming pour examiner sa réaction à des entrées adversariales, abusives ou inattendues. Les programmes d’évaluation bien établis combinent souvent les deux approches.