Die OpenAI-Plattform bietet dir Evaluierungswerkzeuge, mit denen du sicherstellen kannst, dass deine Agenten zuverlässig arbeiten und genaue Ergebnisse liefern.
Auf dieser Seite erfährst du, welche Werkzeuge sich für die Evaluierung deiner Agenten-Workflows eignen und wann du sie einsetzt.
Beginne bei der Fehlersuche mit Traces
Probleme im Workflow erkennst du am schnellsten, wenn du Traces bewertest. Ein Trace zeichnet einen einzelnen Durchlauf von Anfang bis Ende auf, einschließlich Modell- und Tool-Aufrufen, Guardrails und Übergaben. Mit Gradern bewertest du Traces anhand strukturierter Kriterien. So erkennst du auch bei vielen Durchläufen, wo sich das Verhalten verschlechtert hat und welche Arten von Fehlern auftreten.
Mit der Bewertung von Traces kannst du Fragen wie diese beantworten:
- Hat der Agent das richtige Tool ausgewählt?
- Hat die Übergabe zum vorgesehenen Zeitpunkt stattgefunden?
- Hat der Workflow gegen eine Anweisung oder eine Sicherheitsrichtlinie verstoßen?
- Hat eine Änderung am Prompt oder am Routing das Verhalten des Workflows insgesamt verbessert?
So bewertest du Traces
- Öffne im Dashboard Logs > Traces.
- Sieh dir einen repräsentativen Workflow-Trace aus einer SDK-basierten App an. Während der Übergangsphase kannst du auch einen Trace aus einem bestehenden Workflow in Agent Builder verwenden.
- Erstelle einen Grader und führe ihn für die ausgewählten Traces aus.
- Nutze die Ergebnisse, um Prompts, Tool-Schnittstellen, Routinglogik oder Guardrails zu verbessern.
Wenn du deine Workflows direkt im Code mit dem SDK entwickelst, beginne mit dem Leitfaden Integrationen und Observability. So erhältst du aussagekräftige Traces, bevor du die Bewertungskriterien in Gradern festlegst.
Nutze Datensätze und Evaluierungsläufe für wiederholbare Bewertungen
Sobald du weißt, was ein „gutes“ Ergebnis ausmacht, kannst du von einzelnen Traces zu wiederholbaren Evaluierungsläufen mit Datensätzen übergehen. Das ist sinnvoll, wenn du die Auswirkungen von Änderungen messen, Prompts vergleichen oder über einen längeren Zeitraum umfangreichere Evaluierungen durchführen möchtest.
Wenn du erweiterte Funktionen brauchst, etwa für Vergleiche mit externen Modellen, den Zugriff auf Evaluierungen per API oder umfangreiche Batch-Evaluierungen, nutze Evals in Kombination mit Datensätzen.
Weitere Werkzeuge und Leitfäden zur Evaluierung
Nutze die Ergebnisse jeder Evaluierung für die nächste Verbesserungsrunde.
Vergleiche Ergebnisse mit denen externer Modelle, greife per API auf Evaluierungen zu und entdecke weitere Funktionen.
Nutze deinen Datensatz, um deine Prompts automatisch zu verbessern.
Nutze die Ergebnisse jeder Evaluierung für die nächste Verbesserungsrunde.