Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Erste Schritte mit Promptfoo

Führe deine erste Evaluation über die CLI oder mit Codex aus.

Mit der Open-Source-Bibliothek Promptfoo kannst du KI-Anwendungen und KI-Agenten evaluieren und mit Red Teaming auf Schwachstellen prüfen. Definiere Testfälle und Prüfungen, um das Verhalten einer Anwendung zu messen, Prompts oder Modelle zu vergleichen und Fehler zu untersuchen. Mit gezielt manipulierten Eingaben kannst du Anwendungen auch auf Sicherheitsrisiken testen.

Promptfoo gehört zu OpenAI.

Diese Anleitung beginnt mit einer kleinen Evaluation. Führe ein Übersetzungsbeispiel im Terminal aus oder bitte Codex, eine Evaluation für deine Anwendung einzurichten.

Einstieg über die CLI

Wenn du Node.js ab Version 22.22.0 installiert hast, wähle aus, wie du das Promptfoo-Beispiel ausführen möchtest. Es vergleicht anhand von Testfällen die Übersetzungen verschiedener Modelle.

Installationsmethode
npx promptfoo@latest init --example getting-started
cd getting-started

Das Beispiel erstellt die Datei promptfooconfig.yaml mit einem Übersetzungsprompt, Modellanbietern und Testfällen. Jeder Test enthält eine Assertion, die prüft, ob die Ausgabe eine erwartete Formulierung enthält. Lege deinen OpenAI-API-Schlüssel im Terminal fest und ersetze dabei den Platzhalter durch deinen Schlüssel.

export OPENAI_API_KEY="<your-api-key>"

Führe die Evaluation aus und öffne anschließend die Ergebnisansicht. Bei dieser Evaluation fallen für die Modellaufrufe API-Gebühren an.

Ausführungsmethode
npx promptfoo@latest eval
npx promptfoo@latest view

Öffne die lokale URL, um die Modellergebnisse zu vergleichen und zu sehen, welche Assertions erfolgreich waren und welche fehlgeschlagen sind. Sieh dir auch die Ausgaben selbst an. Eine erfolgreiche Assertion bestätigt nur, dass eine bestimmte Bedingung erfüllt ist. Die Gesamtqualität der Antwort musst du gesondert beurteilen. Bearbeite den Prompt oder die Testfälle in promptfooconfig.yaml und führe die Evaluation erneut aus.

Promptfoo-Ergebnisse für 12 Programmieraufgaben im Vergleich zwischen GPT-6.1 Sol mit mittlerem Reasoning-Aufwand und GPT-6 Luna mit hohem Reasoning-Aufwand. Geprüft wurden Korrektheit und Latenz.

Eine separate Evaluation mit dem Codex App Server vergleicht gpt-6.1-sol (mittlerer Reasoning-Aufwand) und gpt-6-luna (hoher Reasoning-Aufwand) anhand von 12 Programmieraufgaben. Für jedes Ergebnis prüfen ausführbare Tests die Korrektheit des Codes. Zusätzlich gilt ein Zeitlimit von 30 Sekunden. Alle Implementierungen haben die Codeprüfungen bestanden. Rot markierte Ergebnisse haben das Zeitlimit überschritten.

Einstieg in der Codex App

Mit dem Promptfoo-Plugin erhält Codex Skills zum Einrichten und Ausführen von Evaluationen.

Wähle „In Codex öffnen“, um eine Aufgabe zu starten, oder „Prompt kopieren“, um den Prompt in eine bestehende Aufgabe einzufügen.

Prompt für den Einstieg
Evaluiere und verbessere mit Promptfoo einen wichtigen KI-Workflow in dieser Anwendung. Lies die Anweisungen im Repository und nutze das vorhandene Setup für Evaluationen, sofern es eines gibt. Wähle ein Verhalten aus, das bei der Nutzung der Anwendung sichtbar ist und das du testen möchtest. Frag mich, wenn das Ziel unklar ist. Erstelle Testfälle anhand der Eingaben, die die Anwendung verarbeitet. Berücksichtige typische Anfragen, Grenzfälle und gezielt manipulierte Eingaben. Lege mit Assertions fest, wann ein Test erfolgreich ist. Prüfe damit, ob sich die Anwendung wie erwartet verhält. Führe einen ersten Testlauf als Vergleichsbasis durch, untersuche die Fehler und teste eine gezielte Änderung am Prompt oder an der Konfiguration. Vergleiche beide Versionen mit denselben Testfällen und Assertions. Berichte, was sich verbessert oder verschlechtert hat. Berücksichtige auch Latenz und Kosten, wenn diese Daten vorliegen. Lass die Assertions unverändert, damit der Vergleich aussagekräftig bleibt. Öffne die Ergebnisansicht mit Diagrammen. Zeige anhand einiger konkreter Beispiele, wie die Ergebnisse vor und nach der Änderung aussehen, und empfehle, welche Version wir beibehalten sollten. Wenn die Änderung die Ergebnisse nicht verbessert, sag das ausdrücklich.

Codex braucht möglicherweise deine Hilfe bei den Zugangsdaten oder den Berechtigungen für das Setup. Bei Evaluationen, die ein Modell aufrufen, können API-Gebühren anfallen.

Nächste Schritte

In der Promptfoo-Dokumentation findest du weitere Anleitungen.

  • Evaluationen konfigurieren: Richte Prompts, Modelle und Testfälle mithilfe der Konfigurationsanleitung ein.
  • Ausgaben prüfen: Wähle passende Prüfungen und Bewertungsmethoden mithilfe der Dokumentation zu Assertions und Metriken aus.
  • Auf Sicherheitsrisiken testen: Prüfe deine Anwendung mit gezielt manipulierten Eingaben. Wie das geht, zeigt die Anleitung zum Red Teaming.