Beim Red Teaming setzt du gezielt Testfälle ein, die ein System herausfordern. So kannst du vor der Bereitstellung erkennen, ob das System Menschen gefährdet, Sicherheitslücken offenbart oder gegen Richtlinien verstößt. Red Teaming ergänzt Evaluierungen, indem es untersucht, wie sich das System missbrauchen lässt, wie es versagen kann und welche Interaktionen besonders riskant sind. Solche Fälle können bei üblichen Qualitätstests unentdeckt bleiben.
Wichtig: Reiche bei OpenAI Red Teaming nur Code oder andere Materialien ein, die dir gehören oder die du ausdrücklich testen darfst. Ohne ausdrückliche schriftliche Genehmigung von OpenAI darfst du OpenAI Red Teaming weder zur Analyse noch zur Meldung von Schwachstellen in Open-Source-Code oder in Code von Dritten verwenden.
Promptfoo für Red Teaming mit Open-Source-Werkzeugen nutzen
Promptfoo ist ein Open-Source-Framework zur Evaluierung von Prompts, Agenten und KI-Anwendungen. Mit den Workflows für Red Teaming kannst du Testfälle für gezielte Angriffe generieren, die Reaktion des getesteten Systems untersuchen und dein System anhand der Ergebnisse verbessern.
Mehr zur Methodik mit Open-Source-Werkzeugen findest du im Leitfaden von Promptfoo zum Red Teaming für LLMs.
Verfügbarkeit für Unternehmen
OpenAI Red Teaming steht Unternehmen zur Verfügung, die ein betreutes Angebot für das Red Teaming ihrer KI-Anwendungen und Agenten benötigen. Workflows für Unternehmen können umfangreichere Anforderungen an die Koordination, Prüfung und Berichterstattung abdecken als ein einzelner lokaler Workflow.
Red Teaming und Evaluierungen
Mit Evaluierungen misst du, ob sich ein KI-System wie vorgesehen verhält. Mit Red Teaming untersuchst du, wie das System auf gezielte Angriffe, missbräuchliche Eingaben oder unerwartete Eingaben reagiert. Etablierte Evaluierungsprogramme nutzen häufig beide Methoden.