Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Red Teaming

Prüfe KI-Systeme vor der Bereitstellung auf Missbrauchspotenzial und Sicherheitsrisiken.

Beim Red Teaming setzt du gezielt Testfälle ein, die ein System herausfordern. So kannst du vor der Bereitstellung erkennen, ob das System Menschen gefährdet, Sicherheitslücken offenbart oder gegen Richtlinien verstößt. Red Teaming ergänzt Evaluierungen, indem es untersucht, wie sich das System missbrauchen lässt, wie es versagen kann und welche Interaktionen besonders riskant sind. Solche Fälle können bei üblichen Qualitätstests unentdeckt bleiben.

Wichtig: Reiche bei OpenAI Red Teaming nur Code oder andere Materialien ein, die dir gehören oder die du ausdrücklich testen darfst. Ohne ausdrückliche schriftliche Genehmigung von OpenAI darfst du OpenAI Red Teaming weder zur Analyse noch zur Meldung von Schwachstellen in Open-Source-Code oder in Code von Dritten verwenden.

Promptfoo für Red Teaming mit Open-Source-Werkzeugen nutzen

Promptfoo ist ein Open-Source-Framework zur Evaluierung von Prompts, Agenten und KI-Anwendungen. Mit den Workflows für Red Teaming kannst du Testfälle für gezielte Angriffe generieren, die Reaktion des getesteten Systems untersuchen und dein System anhand der Ergebnisse verbessern.

Mehr zur Methodik mit Open-Source-Werkzeugen findest du im Leitfaden von Promptfoo zum Red Teaming für LLMs.

Verfügbarkeit für Unternehmen

OpenAI Red Teaming steht Unternehmen zur Verfügung, die ein betreutes Angebot für das Red Teaming ihrer KI-Anwendungen und Agenten benötigen. Workflows für Unternehmen können umfangreichere Anforderungen an die Koordination, Prüfung und Berichterstattung abdecken als ein einzelner lokaler Workflow.

Red Teaming und Evaluierungen

Mit Evaluierungen misst du, ob sich ein KI-System wie vorgesehen verhält. Mit Red Teaming untersuchst du, wie das System auf gezielte Angriffe, missbräuchliche Eingaben oder unerwartete Eingaben reagiert. Etablierte Evaluierungsprogramme nutzen häufig beide Methoden.