Generative KI liefert bei gleicher Eingabe mitunter unterschiedliche Ergebnisse. Deshalb reichen herkömmliche Softwaretests für KI-Architekturen allein nicht aus. Mit Evaluationen (Evals) kannst du dein KI-System trotz dieser Schwankungen testen.
Dieser Leitfaden erläutert die Grundlagen für die Entwicklung von Evals. Eine Einführung in die Evals API findest du im Leitfaden zur Evaluation der Modellleistung.
OpenAI stellt die Evals-Plattform ein. Bestehende Eval-Inhalte bleiben während der Übergangszeit verfügbar. Wer Evals bereits nutzt, hat ab dem 31. Oktober 2026 nur noch Lesezugriff. Die Abschaltung der Plattform ist für den 30. November 2026 geplant. Den aktuellen Zeitplan findest du auf der Seite zu angekündigten Einstellungen.
Was sind Evals?
Evals sind strukturierte Tests, mit denen du die Leistung eines Modells misst. Sie helfen dir, Genauigkeit, Leistung und Zuverlässigkeit sicherzustellen, auch wenn sich KI-Systeme nicht deterministisch verhalten. Evals gehören außerdem zu den wenigen Möglichkeiten, die Leistung einer LLM-basierten Anwendung gezielt zu verbessern (durch Fine-Tuning).
Arten von Evals
Der Begriff „Evals“ kann Verschiedenes bezeichnen:
- Branchenübliche Benchmarks, mit denen du Modelle unabhängig von einer konkreten Anwendung vergleichst, etwa MMLU und die Benchmarks der Rangliste von Hugging Face
- Gängige numerische Bewertungsmaße wie ROUGE und BERTScore, die du beim Entwerfen von Evals für deinen Anwendungsfall einsetzen kannst
- Tests, die du selbst implementierst, um die Leistung deiner LLM-Anwendung zu messen
Dieser Leitfaden behandelt die dritte Variante. Du erfährst, wie du eigene Evals entwickelst.
Eval-Ergebnisse einordnen
Bei Evals liegen die Punktwerte oft zwischen 0 und 1. Die Zahlen allein sagen aber wenig darüber aus, ob du die richtigen Fragen stellst. Kombiniere Metriken deshalb mit menschlichem Urteil.
Tipps für Evals
- Richte die Entwicklung an Evals aus. Teste früh und häufig. Schreibe in jeder Phase Tests für klar abgegrenzte Aufgaben.
- Entwirf aufgabenspezifische Evals. Prüfe, wie gut das Modell Aufgaben löst, und berücksichtige dabei, wie häufig die jeweiligen Fälle in der Praxis auftreten.
- Protokolliere alles. Wenn du schon während der Entwicklung Logs erfasst, kannst du daraus geeignete Testfälle ableiten.
- Automatisiere, wo es möglich ist. Gestalte Evals so, dass sich die Ergebnisse automatisch bewerten lassen.
- Evaluiere fortlaufend. Die Evaluation endet nicht mit einem einzelnen Testlauf.
- Gleiche Bewertungen regelmäßig ab. Kalibriere die automatische Bewertung anhand menschlicher Rückmeldungen.
Häufige Fehler
- Zu allgemeine Metriken: Du verlässt dich ausschließlich auf wissenschaftliche Metriken wie Perplexität oder den BLEU-Score.
- Verzerrte Testdaten: Deine Eval-Datensätze bilden die Verteilung der Anfragen im Produktivbetrieb unzureichend ab.
- Bewertung nach Bauchgefühl: Als Test genügt dir „Es scheint zu funktionieren“, oder du implementierst die ersten Evals erst nach der Veröffentlichung.
- Fehlender Abgleich mit menschlichem Feedback: Du kalibrierst deine automatisierten Metriken nicht anhand menschlicher Bewertungen.
Einen Eval-Prozess entwickeln
Ein Eval-Prozess umfasst mehrere wichtige Schritte:
- Eval-Ziel festlegen. Woran erkennst du, dass der Test bestanden ist?
- Datensatz zusammenstellen. Mit welchen Daten kannst du prüfen, ob du dein Ziel erreichst? Berücksichtige synthetische, fachspezifische, zugekaufte und von Menschen ausgewählte Eval-Daten sowie Daten aus dem Produktivbetrieb und historische Daten.
- Eval-Metriken festlegen. Wie prüfst du, ob die Erfolgskriterien erfüllt sind?
- Evals ausführen und vergleichen. Verbessere die Modellleistung für deine Aufgabe oder dein System schrittweise anhand der Ergebnisse.
- Kontinuierlich evaluieren. Richte eine kontinuierliche Evaluation (CE) ein, die bei jeder Änderung Evals ausführt. Beobachte deine App, um neue Fälle zu erkennen, in denen das Verhalten variiert, und erweitere mit der Zeit deine Testsammlung.
Die folgenden Beispiele zeigen, wie das in der Praxis aussieht.
Beispiel: Transkripte zusammenfassen
So kannst du testen, wie gut deine LLM-basierte Anwendung Transkripte zusammenfasst:
- Eval-Ziel festlegen
Die Zusammenfassungen des Modells sollen in puncto Relevanz und Genauigkeit mit den Referenzzusammenfassungen mithalten können. - Datensatz zusammenstellen
Bestimme, was eine „gute“ Zusammenfassung ausmacht. Kombiniere dazu Daten aus dem Produktivbetrieb (Rückmeldungen zu den generierten Zusammenfassungen) mit Datensätzen, die Fachleute mit Schreiberfahrung erstellt haben. - Eval-Metriken festlegen
Reserviere 1.000 Transkripte mit zugehörigen Referenzzusammenfassungen für den Test. Auf diesem Datensatz soll die Implementierung einen ROUGE-L-Score von mindestens 0,40 und bei der Bewertung mit G-Eval einen Kohärenzwert von mindestens 80 % erreichen. - Evals ausführen und vergleichen
Verwende die Evals API, um Evals im OpenAI-Dashboard zu erstellen und auszuführen. - Kontinuierlich evaluieren
Richte eine kontinuierliche Evaluation (CE) ein, die bei jeder Änderung Evals ausführt. Beobachte deine App, um neue Fälle zu erkennen, in denen das Verhalten variiert, und erweitere mit der Zeit deine Testsammlung.
LLMs können besonders gut zwischen vorgegebenen Optionen unterscheiden. Konzentriere dich bei der Evaluation deshalb auf Aufgaben wie paarweise Vergleiche, Klassifikation oder die Bewertung nach konkreten Kriterien, statt das Modell frei formulierte Antworten generieren zu lassen. Wenn du diese Stärke nutzt, kannst du Modellergebnisse zuverlässiger beurteilen und Modelle zuverlässiger miteinander vergleichen.
Beispiel: Fragen zu Dokumenten beantworten
So kannst du testen, wie gut deine LLM-basierte Anwendung Fragen anhand von Dokumenten beantwortet:
- Eval-Ziel festlegen
Das Modell soll bei Bedarf den relevanten Kontext abrufen, daraus Schlüsse für den jeweiligen Prompt ziehen und eine präzise Antwort geben, die auf das Anliegen der fragenden Person eingeht. - Datensatz zusammenstellen
Kombiniere Daten aus dem Produktivbetrieb zur Zufriedenheit mit den Antworten, fest hinterlegte Musterantworten auf Fragen von Fachleuten und historische Daten aus Logs. - Eval-Metriken festlegen
Der Kontext-Recall soll mindestens 0,85 betragen, die Kontextpräzision über 0,7 liegen und der Anteil positiv bewerteter Antworten mindestens 70 % erreichen. - Evals ausführen und vergleichen
Verwende die Evals API, um Evals im OpenAI-Dashboard zu erstellen und auszuführen. - Kontinuierlich evaluieren
Richte eine kontinuierliche Evaluation (CE) ein, die bei jeder Änderung Evals ausführt. Beobachte deine App, um neue Fälle zu erkennen, in denen das Verhalten variiert, und erweitere mit der Zeit deine Testsammlung.
Wenn du einen Eval-Datensatz erstellst, kann dir
gpt-6-astra helfen, Testbeispiele und Ausnahmefälle zu sammeln. Du kannst damit vielfältige Testdaten für unterschiedliche Szenarien generieren. Decke typische Fälle, Ausnahmefälle und gezielte Angriffsversuche ab. Lass die Daten von Fachleuten annotieren.
Ermitteln, wo du Evals brauchst
Je komplexer die Architektur, desto mehr Entscheidungen und Verarbeitungsschritte kommen zusammen. Vier gängige Architekturmuster sind:
- Modellinteraktionen mit einer einzigen Anfrage
- Workflows
- Architekturen mit einem Agenten
- Architekturen mit mehreren Agenten
Anhand der folgenden Beschreibungen kannst du erkennen, an welchen Stellen sich dein System nicht deterministisch verhält. Dort solltest du Evals einsetzen.
Modellinteraktionen mit einer einzigen Anfrage
Bei dieser Architektur erhält das Modell eine Eingabe von der Person, die es nutzt. Es verarbeitet die Eingabe zusammen mit etwaigen Prompts aus der Anwendungsentwicklung und erzeugt ein entsprechendes Ergebnis.
Beispiel
Nehmen wir einen Onlineshop als Beispiel. Dein System-Prompt weist das Modell an, die Frage aus der Kundschaft einer Kategorie zuzuordnen. Zur Auswahl stehen:
order_statusreturn_policytechnical_issuecancel_orderother
Damit der Ablauf einheitlich und effizient bleibt, soll das Modell nur das Label zurückgeben, das zum Anliegen passt. Angenommen, jemand fragt: „Wie ist der Status meiner Bestellung?“
| Quelle des nichtdeterministischen Verhaltens | Was du prüfen solltest | Beispielfragen für Evals |
|---|---|---|
| Eingaben aus der Entwicklung und von Nutzenden | Befolgen von Anweisungen: Versteht das Modell die Anweisungen richtig und handelt es entsprechend? Befolgen von Anweisungen: Gibt das Modell dem System-Prompt Vorrang, wenn ein Nutzer-Prompt ihm widerspricht? | Bleibt das Modell bei seiner Aufgabe, die Anfrage einzuordnen, oder lässt es sich von der Frage ablenken? |
| Vom Modell erzeugte Ergebnisse | Funktionale Korrektheit: Sind die Modellergebnisse korrekt, relevant und ausführlich genug, um die vorgesehene Aufgabe zu erfüllen oder das Ziel zu erreichen? | Stimmt das vom Modell erkannte Anliegen mit dem erwarteten Anliegen überein? |
Workflow-Architekturen
Für komplexere Probleme wirst du von einer einzelnen Modellinteraktion wahrscheinlich zu einem mehrstufigen Workflow übergehen, der mehrere Modellaufrufe miteinander verknüpft. Workflows bringen keine neuen Quellen für nichtdeterministisches Verhalten mit sich. Sie bestehen aber aus mehreren Modellinteraktionen, die du einzeln evaluieren kannst.
Beispiel
Nehmen wir wieder die Frage nach dem Bestellstatus. Der Workflow ordnet die Anfrage ein und verarbeitet sie in mehreren Schritten:
- Bestell-ID extrahieren
- Bestelldetails abrufen
- Bestelldetails an ein Modell übergeben, das die abschließende Antwort formuliert
Für jeden Schritt gibt es einen eigenen System-Prompt, den das Modell befolgen muss. Aus allen abgerufenen Daten formuliert es eine freundliche Antwort.
| Quelle des nichtdeterministischen Verhaltens | Was du prüfen solltest | Beispielfragen für Evals |
|---|---|---|
| Eingaben aus der Entwicklung und von Nutzenden | Befolgen von Anweisungen: Versteht das Modell die Anweisungen richtig und handelt es entsprechend? Befolgen von Anweisungen: Gibt das Modell dem System-Prompt Vorrang, wenn ein Nutzer-Prompt ihm widerspricht? | Bleibt das Modell bei seiner Aufgabe, die Anfrage einzuordnen, oder lässt es sich von der Frage ablenken?
Enthält die abschließende Antwort den Bestellstatus, den voraussichtlichen Liefertermin und die Sendungsnummer? |
| Vom Modell erzeugte Ergebnisse | Funktionale Korrektheit: Sind die Modellergebnisse korrekt, relevant und ausführlich genug, um die vorgesehene Aufgabe zu erfüllen oder das Ziel zu erreichen? | Stimmt das vom Modell erkannte Anliegen mit dem erwarteten Anliegen überein? Sind Bestellstatus, voraussichtlicher Liefertermin und Sendungsnummer in der abschließenden Antwort korrekt? |
Architekturen mit einem Agenten
Anders als Workflows lösen Agenten unstrukturierte Probleme, bei denen sie flexibel entscheiden müssen. Ein Agent erhält Anweisungen und eine Reihe von Tools. Er entscheidet je nach Situation, welches Tool er verwendet. Damit entsteht eine weitere Quelle für nichtdeterministisches Verhalten.
Tools sind Codebausteine, die du bei der Entwicklung definierst und die das Modell ausführen kann. Das Spektrum reicht von kleinen Hilfsfunktionen bis zu API-Aufrufen für bestehende Dienste. Ein mögliches Tool ist check_order_status(order_id). Es nimmt das Argument order_id entgegen und ruft eine API auf, um den Bestellstatus zu prüfen.
Beispiel
Im Kundenservice-Beispiel setzen wir jetzt einen Agenten ein. Er hat Zugriff auf drei verschiedene Tools:
- Tool zum Abrufen von Bestellungen
- Tool zum Zurücksetzen von Passwörtern
- Tool für häufige Fragen zu Produkten
Fragt jemand nach dem Bestellstatus, entscheidet der Agent je nach Situation, ob er ein Tool aufruft oder direkt antwortet. Auf die Frage „Welchen Status hat meine Bestellung?“ kann er beispielsweise mit einer Rückfrage nach der Bestell-ID reagieren. So verläuft das Gespräch natürlicher.
| Quelle des nichtdeterministischen Verhaltens | Was du prüfen solltest | Beispielfragen für Evals |
|---|---|---|
| Eingaben aus der Entwicklung und von Nutzenden | Befolgen von Anweisungen: Versteht das Modell die Anweisungen richtig und handelt es entsprechend? Befolgen von Anweisungen: Gibt das Modell dem System-Prompt Vorrang, wenn ein Nutzer-Prompt ihm widerspricht? | Bleibt das Modell bei seiner Aufgabe, die Anfrage einzuordnen, oder lässt es sich von der Frage ablenken? Versucht das Modell wie angewiesen, eine Bestell-ID zu extrahieren? |
| Vom Modell erzeugte Ergebnisse | Funktionale Korrektheit: Sind die Modellergebnisse korrekt, relevant und ausführlich genug, um die vorgesehene Aufgabe zu erfüllen oder das Ziel zu erreichen? | Stimmt das vom Modell erkannte Anliegen mit dem erwarteten Anliegen überein? |
| Vom Modell ausgewählte Tools | Tool-Auswahl: Prüfe, ob der Agent das richtige Tool für die Aufgabe auswählen kann. Genauigkeit der Daten: Prüfe, ob der Agent das Tool mit den richtigen Argumenten aufruft. Da die Argumente meist aus dem Gesprächsverlauf stammen, geht es darum, ob er die Werte korrekt extrahiert hat. | Empfiehlt das Modell bei einer Frage zum Bestellstatus wie erwartet, das Tool zum Abrufen von Bestellungen aufzurufen? Extrahiert das Modell die angegebene Bestell-ID korrekt für den Tool-Aufruf? |
Architekturen mit mehreren Agenten
Wenn du die Architektur mit einem Agenten um weitere Tools und Aufgaben erweiterst, kann es für das Modell schwieriger werden, Anweisungen zu befolgen oder das richtige Tool auszuwählen. In einer Architektur mit mehreren Agenten kannst du diese Arbeit auf Agenten verteilen, die sich auf unterschiedliche Bereiche spezialisieren. Beim Einordnen und Weitergeben von Anfragen zwischen Agenten entsteht eine weitere Quelle für nichtdeterministisches Verhalten.
Entscheide anhand deiner Evals, ob du mehrere Agenten brauchst. Wenn du von Anfang an mehrere Agenten einsetzt, wird die Architektur unnötig komplex. Dadurch kann es länger dauern, bis deine Anwendung in den Produktivbetrieb geht.
Beispiel
Wenn wir die Aufgaben aus dem Beispiel mit einem Agenten aufteilen, erhalten wir vier Agenten:
- Agent zum Einordnen von Anfragen
- Agent für Bestellungen
- Agent für die Kontoverwaltung
- Agent für den Verkauf
Fragt jemand nach dem Bestellstatus, kann der Agent, der die Anfrage einordnet, das Gespräch an den Bestellagenten übergeben. Dieser ruft die Bestellung ab. Wechselt die Person das Thema und fragt nach einem Produkt, sollte der Bestellagent die Anfrage an den Agenten für die Einordnung zurückgeben. Dieser leitet sie an den Verkaufsagenten weiter, der die Produktinformationen abruft.
| Quelle des nichtdeterministischen Verhaltens | Was du prüfen solltest | Beispielfragen für Evals |
|---|---|---|
| Eingaben aus der Entwicklung und von Nutzenden | Befolgen von Anweisungen: Versteht das Modell die Anweisungen richtig und handelt es entsprechend? Befolgen von Anweisungen: Gibt das Modell dem System-Prompt Vorrang, wenn ein Nutzer-Prompt ihm widerspricht? | Bleibt das Modell bei seiner Aufgabe, die Anfrage einzuordnen, oder lässt es sich von der Frage ablenken? Angenommen, der Aufruf von lookup_order hat ein Ergebnis geliefert: Gibt der Bestellagent eine Sendungsnummer und einen Liefertermin an (unabhängig davon, ob die Angaben stimmen)? |
| Vom Modell erzeugte Ergebnisse | Funktionale Korrektheit: Sind die Modellergebnisse korrekt, relevant und ausführlich genug, um die vorgesehene Aufgabe zu erfüllen oder das Ziel zu erreichen? | Stimmt das vom Modell erkannte Anliegen mit dem erwarteten Anliegen überein? Angenommen, der Aufruf von lookup_order hat ein Ergebnis geliefert: Nennt der Bestellagent die richtige Sendungsnummer und den richtigen Liefertermin?Befolgt der Bestellagent die Systemanweisung, vor der Bearbeitung einer Rückgabe nach dem Grund dafür zu fragen? |
| Vom Modell ausgewählte Tools | Tool-Auswahl: Prüfe, ob der Agent das richtige Tool für die Aufgabe auswählen kann. Genauigkeit der Daten: Prüfe, ob der Agent das Tool mit den richtigen Argumenten aufruft. Da die Argumente meist aus dem Gesprächsverlauf stammen, geht es darum, ob er die Werte korrekt extrahiert hat. | Ruft der Bestellagent das Tool zum Abrufen von Bestellungen korrekt auf? Ruft der Bestellagent das Tool refund_order korrekt auf?Übergibt der Bestellagent beim Abrufen der Bestellung die richtige Bestell-ID? Ruft der Agent für die Kontoverwaltung das Tool reset_password korrekt mit der richtigen Konto-ID auf? |
| Übergabe zwischen Agenten | Korrektheit der Übergabe: Prüfe, ob jeder Agent zuverlässig erkennt, wann er eine Anfrage an einen anderen Agenten weitergeben sollte. | Gibt der Agent für die Einordnung eine Frage nach dem Bestellstatus an den Bestellagenten weiter? Gibt der Bestellagent die Kontrolle an den Agenten für die Einordnung zurück, wenn die Person das Thema wechselt und nach dem neuesten Produkt fragt? |
Bewertungsverfahren entwickeln und kombinieren
Wenn du eigene Evals entwickelst, kannst du aus mehreren Bewertungsverfahren wählen. Überlege dir dazu, welche Aufgabe das jeweilige Verfahren erfüllen soll.
Metrikbasierte Evals
Quantitative Evals liefern einen Zahlenwert, nach dem du Ergebnisse filtern und sortieren kannst. Diese Werte eignen sich als Vergleichsmaßstab für automatisierte Regressionstests.
- Beispiele: exakte Übereinstimmung, Zeichenkettenvergleich, ROUGE- oder BLEU-Score, Genauigkeit von Funktionsaufrufen, ausführbare Evals (etwa bei text2sql, um Funktionalität oder Verhalten durch Ausführung zu prüfen)
- Herausforderungen: Die Metriken passen unter Umständen nicht zum konkreten Anwendungsfall und können Feinheiten übersehen.
Evals mit menschlicher Bewertung
Menschen liefern die hochwertigsten Bewertungen. Der Aufwand an Zeit und Geld ist allerdings hoch.
- Beispiele: Sieh die Systemergebnisse kurz durch, um einen Eindruck zu gewinnen, ob sie besser oder schlechter geworden sind. Erstelle einen randomisierten Blindtest, bei dem Beschäftigte, externe Fachkräfte oder beauftragte Annotierungsdienste die Qualität der Ergebnisse beurteilen. Sie können zum Beispiel einige mögliche Ergebnisse in eine Rangfolge bringen oder jedes Ergebnis auf einer Skala von 1 bis 5 bewerten.
- Herausforderungen: Fachleute können zu unterschiedlichen Urteilen kommen. Die Bewertung ist teuer und zeitaufwendig.
- Empfehlungen:
- Lass die Ergebnisse in mehreren Runden gründlich prüfen und verfeinere so den Bewertungsbogen.
- Veranschauliche die Bewertungsstufen mit Beispielen. Zeige etwa, welche Antwort 1, 3 oder 8 von 10 Punkten erhält.
- Lege zusätzlich zum Zahlenwert einen Schwellenwert fest, ab dem der Test als bestanden gilt.
- Wenn mehrere Personen bewerten, kannst du ihre Urteile durch eine gemeinsame Abstimmung zusammenführen.
LLMs als Bewertungsinstanz und modellbasierte Bewertung
Modellergebnisse von einem Modell beurteilen zu lassen, ist günstiger als eine menschliche Bewertung und lässt sich leichter skalieren. Beginne mit gpt-6-astra, wenn du ein leistungsfähiges LLM für die Bewertung brauchst. Prüfe zunächst, ob seine Urteile mit den menschlichen Annotationen übereinstimmen, bevor du Kosten oder Latenz optimierst.
- Beispiele:
- Paarweiser Vergleich: Lege dem bewertenden Modell zwei Antworten vor. Lass es anhand konkreter Kriterien entscheiden, welche besser ist.
- Einzelbewertung: Das Modell beurteilt eine einzelne Antwort für sich und vergibt anhand vorab festgelegter Qualitätsmetriken Punkte oder eine Note.
- Referenzgestützte Bewertung: Gib dem Modell eine Referenzantwort als „Goldstandard“ vor. Daran misst es die vorliegende Antwort.
- Herausforderungen: Die Reihenfolge der Antworten kann das Urteil beeinflussen. Modelle bevorzugen außerdem oft längere Antworten.
- Empfehlungen:
- Nutze paarweise Vergleiche oder eine Bewertung als bestanden oder nicht bestanden, um zuverlässigere Ergebnisse zu erhalten.
- Verwende für die Bewertung nach Möglichkeit das leistungsfähigste Modell. Beginne mit
gpt-6-astraund prüfe dann, ob ein spezialisiertes Reasoning-Modell mit deinem Bewertungsraster oder deinen Referenzantworten besser abschneidet. - Kontrolliere den Einfluss der Antwortlänge, da LLMs längere Antworten in der Regel bevorzugen.
- Beziehe Reasoning und die Gedankenkette in die Bewertung ein. Wenn das Modell seine Überlegungen vor der Punktevergabe anstellt, verbessert das die Qualität der Evaluation.
- Weite den Einsatz aus, sobald das bewertende LLM schneller und günstiger arbeitet und seine Urteile zuverlässig mit den menschlichen Annotationen übereinstimmen.
- Formuliere Fragen so, dass sie sich automatisch bewerten lassen und die ursprüngliche Aufgabe erhalten bleibt. Häufig lassen sich Fragen dafür ins Multiple-Choice-Format übertragen.
- Formuliere klare, detaillierte Bewertungsraster für deine Evals.
Kein Verfahren ist perfekt. Wie gut ein LLM Antworten beurteilt, hängt von der jeweiligen Aufgabe ab. Referenzbewertungen von Fachleuten einzuholen, kostet dagegen Zeit und Geld.
Ausnahmefälle berücksichtigen
Deine Evals sollten für jede Architektur die wichtigsten Szenarien abdecken, in denen alles wie vorgesehen abläuft. In der Praxis stoßen KI-Systeme aber häufig auf Ausnahmefälle, mit denen sie sich schwertun. Auch diese Fälle zu testen, ist wichtig für die Zuverlässigkeit des Systems und für ein gutes Nutzungserlebnis.
Die Ausnahmefälle lassen sich in mehrere Gruppen einteilen.
Unterschiedliche Eingaben
Menschen interagieren auf unterschiedliche Weise mit dem Modell. Dein System muss daher flexibel mit verschiedenen Eingaben umgehen können, zum Beispiel mit:
- Eingaben in anderen Sprachen als Englisch oder in mehreren Sprachen
- strukturierten Eingabeformaten wie XML, JSON, Markdown oder CSV
- verschiedenen Eingabemodalitäten, etwa Bildern
Berücksichtige die Eingaben, die Menschen ausprobieren könnten, wenn du prüfst, ob das Modell Anweisungen befolgt und funktional korrekte Ergebnisse liefert.
Komplexer Kontext
Viele LLM-basierte Anwendungen scheitern daran, dass sie den Kontext einer Anfrage falsch verstehen. Dieser Kontext kann von der fragenden Person stammen. Auch irrelevante Informationen aus dem bisherigen Gespräch können die Interpretation erschweren.
Beispiele dafür sind:
- Mehrere Fragen oder Anliegen in einer einzigen Anfrage
- Tippfehler und falsch geschriebene Wörter
- Kurze Anfragen mit kaum Kontext (etwa wenn jemand nur „Rückgaben“ schreibt)
- Umfangreicher Kontext oder lange laufende Gespräche
- Tool-Aufrufe, die Daten mit mehrdeutigen Eigenschaftsnamen zurückgeben (zum Beispiel
"on: 123", wobei „on“ für die Bestellnummer steht) - Mehrere Tool-Aufrufe, bei denen mitunter falsche Argumente übergeben werden
- Mehrere Übergaben zwischen Agenten, bei denen Anfragen mitunter im Kreis weitergereicht werden
Personalisierung und Anpassung
KI kann auf individuelle Wünsche eingehen und so die Nutzung angenehmer machen. Durch diese Flexibilität entstehen aber auch viele Ausnahmefälle. Lege für deine Evals klar fest, welche Anwendungsfälle du gezielt unterstützen und welche du blockieren möchtest:
- Jailbreak-Versuche, die das Modell zu einem anderen Verhalten bewegen sollen
- Wünsche zum Ausgabeformat (zum Beispiel eine Antwort im JSON-Format oder als Aufzählung)
- Fälle, in denen Nutzer-Prompts deinen System-Prompts widersprechen
Mit Evals die Leistung verbessern
Sobald deine Evals die Leistung zuverlässig messen, kannst du ihre Ergebnisse gezielt nutzen, um die Leistung deiner Anwendung zu verbessern.
Weitere Ressourcen
Weitere Anregungen, Codebeispiele und Links zu Ressourcen von Drittanbietern findest du im OpenAI Cookbook. Mehr über unsere Tools für Evals erfährst du hier: