Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Latenz optimieren

Miss, wo Wartezeiten entstehen, und verkürze den langsamsten Schritt einer Anfrage.

Miss, an welchen Stellen Nutzende warten, bevor du das Modell oder den Prompt änderst.

  • Die Zeit bis zum ersten Token (TTFT) gibt an, wie lange es dauert, bis eine API-Anfrage den ersten Inhalt liefert. Wenn du Text mit der Responses API streamst, miss die Zeit vom Senden der Anfrage bis zum Empfang des ersten nicht leeren Ereignisses vom Typ response.output_text.delta.
  • Die Ende-zu-Ende-Latenz gibt an, wie lange Nutzende auf das vollständige Ergebnis warten. Miss die Zeit von der auslösenden Aktion bis zur vollständigen Anzeige. Beziehe den Datenabruf, Modell- und Toolaufrufe, Wiederholungsversuche und das Rendern ein.

Vergleiche bei repräsentativem Anfrageverkehr den Median (p50) und das 95. Perzentil (p95). Gruppiere ähnliche Anfragen nach Modell, Servicestufe und Aufgabe. Erfasse neben den Zeiten die Anzahl der Eingabetoken, der zwischengespeicherten Eingabetoken und der Ausgabetoken. Wenn die TTFT kurz ist, der Bildschirm aber lange leer bleibt, miss die Dauer der Schritte vor dem Modellaufruf und prüfe, wann der Client den ersten Text anzeigt.

Sieben Prinzipien

  1. Token schneller verarbeiten.
  2. Weniger Token generieren.
  3. Weniger Eingabetoken verwenden.
  4. Weniger Anfragen senden.
  5. Schritte parallel ausführen.
  6. Wartezeiten für Nutzende verkürzen.
  7. Prüfen, ob ein LLM nötig ist.

Token schneller verarbeiten

Wähle das Modell anhand von Beispielen aus deiner Anwendung. Probiere für eine klar umrissene Aufgabe wie das Weiterleiten eines Supporttickets gpt-6-luna aus. Wähle für anspruchsvollere Aufgaben mithilfe des Leitfadens zur Modellauswahl ein Vergleichsmodell aus. Behalte die schnellste Konfiguration, die dein Qualitätsziel auch in schwierigen Fällen erreicht.

Wenn du beim selben Modell bleiben musst, vergleiche die Standardverarbeitung mit dem Schnellmodus oder dem Ultraschnellmodus, sofern das Modell den jeweiligen Modus unterstützt. Für beide Modi fällt ein Aufpreis an. Verwende für den Vergleich dieselben Prompts und Ausgabelängen und protokolliere für jede Antwort den zurückgegebenen Wert von service_tier.

Miss bei langen Antworten die Geschwindigkeit der sichtbaren Textausgabe in Token pro Sekunde. Zähle die Texttoken, die du nach dem ersten Textereignis empfängst, und teile ihre Anzahl durch die Zeit in Sekunden zwischen dem ersten und dem letzten Textereignis. Ein einzelnes Ereignis im Stream kann mehrere Token enthalten. Ein Ratenlimit in Token pro Minute gibt an, wie viele Token du über alle Anfragen hinweg pro Minute senden kannst.

Wenn du Chat Completions mit einem unterstützten Modell verwendest und einen Großteil der Antwort bereits kennst, können Predicted Outputs die Generierung beschleunigen. Das ist etwa der Fall, wenn du nur wenige Zeilen einer Datei änderst. Prüfe vor dem Einsatz, ob das Modell und die verwendeten Parameter mit dieser Option kompatibel sind.

Weniger Token generieren

Wenn die Antwort schnell beginnt, aber zu lange braucht, bis sie vollständig ist, prüfe, was das Modell generiert.

  • Sichtbarer Text. Gib vor, wie ausführlich die Antwort für die jeweilige Person sein soll, etwa mit „Beschreibe den nächsten Schritt in einem Satz.“ Wenn das Modell in der Responses API diese Einstellung unterstützt, senke den Wert von text.verbosity, um kürzere Antworten zu erhalten.
  • Reasoning. Probiere bei einfachen Extraktions- oder Klassifikationsaufgaben einen niedrigeren unterstützten Wert für reasoning.effort aus. Vergleiche anhand derselben Beispiele die Genauigkeit und die Zeit bis zum ersten Text. Unter usage.output_tokens_details.reasoning_tokens siehst du, wie viele Token das Modell für das Reasoning verwendet hat.
  • Strukturierte Ausgabe. Fordere nur die Felder an, die deine Anwendung verwendet. Berechne Werte, die du bereits kennst, etwa die Anzahl der Nachrichten, im Anwendungscode. Verwende strukturierte Ausgaben, wenn die Antwort einem Schema entsprechen muss.

In der Responses API begrenzt max_output_tokens die Gesamtzahl der Reasoning-Token und der sichtbaren Ausgabetoken. Bei einer niedrigen Obergrenze kann die Antwort mit dem Status incomplete enden, noch bevor sichtbarer Text vorliegt. Verwende die Obergrenze als Tokenbudget und prüfe den Status, bevor du eine unvollständige Antwort weiterverarbeitest.

Weniger Eingabetoken verwenden

Ein langer Prompt kann die Ausgabe des ersten Tokens verzögern, besonders wenn ein großer Teil der Eingabe neu ist. Filtere Suchergebnisse nach Relevanz, entferne überflüssiges Markup und sende nur den Kontext, den das Modell für eine korrekte Antwort braucht.

Stelle bei wiederkehrenden Eingaben gleichbleibende Anweisungen, Beispiele und Tooldefinitionen an den Anfang. Behalte in Gesprächen mit mehreren Nachrichten das Präfix bei und hänge neue Nachrichten und Toolergebnisse an. Mit Prompt-Caching lässt sich ein bereits verarbeitetes Präfix wiederverwenden, wenn es exakt übereinstimmt und die Voraussetzungen für das Caching erfüllt. Prüfe in der Responses API den Wert von usage.input_tokens_details.cached_tokens und vergleiche die TTFT von Anfragen mit und ohne Cache-Treffer.

Weniger Anfragen senden

Bei aufeinanderfolgenden Modell- oder Toolaufrufen verlängert jeder weitere Aufruf die Wartezeit. Fasse Schritte zusammen, wenn alle nötigen Informationen in einer Anfrage vorliegen. Ein Modell kann zum Beispiel aus einer Rückfrage im Kundengespräch eine eigenständige Suchanfrage formulieren und in derselben Antwort entscheiden, ob eine Suche nötig ist. Hängt die Antwort an die fragende Person von der Suche ab, muss das Suchergebnis dafür vorliegen.

Wenn dein Agent viele kurze Toolaufrufe nacheinander ausführt, probiere den WebSocket-Modus aus. Verwende dieselbe Verbindung weiter und knüpfe mit previous_response_id an die vorherige Antwort an. Sende dabei nur neue Eingabeelemente und Toolergebnisse. Das verringert den Aufwand zwischen den Gesprächsschritten.

Schritte parallel ausführen

Führe voneinander unabhängige Schritte gleichzeitig aus. Sobald du etwa eine Bestell-ID hast, kannst du den Versandstatus abfragen und gleichzeitig die Rückgabebedingungen abrufen. Wenn die Antwort beide Ergebnisse erfordert, kann ihre Generierung beginnen, sobald die langsamere Abfrage abgeschlossen ist. Bei unterstützten Modellen ermöglichen asynchrone Toolaufrufe dem Modell außerdem, unabhängige Aufgaben weiterzubearbeiten, während deine Anwendung ein Tool ausführt.

Wenn ein Verarbeitungsschritt wahrscheinlich, aber noch nicht sicher ist, kannst du eine dafür benötigte Abfrage ohne Schreibzugriff frühzeitig starten und das Ergebnis bei Bedarf verwerfen. Miss die zusätzlichen Kosten für den Fall, dass deine Annahme falsch war. Warte alle erforderlichen Prüfungen ab, bevor du ein Ergebnis anzeigst oder eine Aktion wie eine Rückerstattung auslöst.

Wartezeiten für Nutzende verkürzen

Wenn du in einer interaktiven Anwendung Text über HTTP ausgibst, streame die Antwort mit stream: true und zeige den Text an, sobald er eintrifft. So können Nutzende mit dem Lesen beginnen, während das Modell die Antwort noch generiert. Die Zeit bis zum ersten sichtbaren Text hängt weiterhin von der Anfrage ab, auch vom Reasoning und von Toolaufrufen vor der Antwort.

Wenn du die Ausgabe vor der Anzeige prüfst oder moderierst, puffere genug Text für die jeweilige Prüfung. Zeige bei längeren Aufgaben den tatsächlichen Fortschritt an, etwa „Deine Bestellung wird abgerufen“, während die Abfrage läuft. Wenn Nutzende später zurückkehren können, kann deine Anwendung die Aufgabe im Hintergrundmodus übermitteln und das Ergebnis asynchron abrufen.

Prüfen, ob ein LLM nötig ist

Verwende Anwendungscode, wenn du die Antwort bereits kennst. Zeige den Bestellstatus aus der Bestell-API an, bestätige eine erfolgreiche Rückerstattung mit einer Textvorlage oder zeige Suchergebnisse direkt an. In jedem dieser Fälle kannst du den Nutzenden die Wartezeit für einen Modellaufruf ersparen.

Beispiel

Architektur und Prompts

In einem Supportgespräch über einen Kopfhörer fragt eine Person: „Kann ich ihn noch zurückgeben?“ Der Supportassistent ruft das Modell dreimal nacheinander auf. Beim ersten Aufruf formuliert das Modell die Frage so um, dass sie den Produktnamen enthält. Beim zweiten entscheidet es, ob eine Suche nötig ist. Nach dem Datenabruf generiert es beim dritten Aufruf die Antwort und interne Felder für die Anzahl der Nachrichten, die Stimmung der fragenden Person und den Ton der Antwort. Die Person sieht erst etwas, wenn der letzte Aufruf abgeschlossen ist.

Analyse und Optimierung

Schritt Änderung Was du messen solltest
Frage einordnen Lass ein Modell entscheiden, ob eine Suche nötig ist, und gegebenenfalls die eigenständige Suchanfrage formulieren. Hier lautet sie „Rückgabebedingungen Kopfhörer“. Bei einer bloßen Bestätigung kann der Datenabruf entfallen. Wie oft das Modell in beiden Fällen richtig entscheidet und wie lange es dauert, bis der Datenabruf beginnt.
Benötigte Informationen abrufen Sobald der Router eine Frage zur Rückgabe erkennt, rufe die Rückgabebedingungen und die Bestelldaten der Person gleichzeitig ab, sofern die Eingaben für beide Abfragen vorliegen. Zeit, bis beide Ergebnisse vorliegen.
Antworten Übergib dem Modell die Rückgabebedingungen und die Bestelldaten. Fordere nur die Antwort für die fragende Person an und streame den Text. Fehlt in den Rückgabebedingungen oder den Bestelldaten eine Angabe, die du für die Entscheidung über die Rückgabe brauchst, frage danach. Zeit bis zum ersten sichtbaren Text, Zeit bis zur vollständigen Antwort und Richtigkeit der Entscheidung über die Rückgabe.

Bei Fragen zur Rückgabe entfällt so einer von drei aufeinanderfolgenden Modellaufrufen, und zwei unabhängige Abfragen laufen parallel. Spiele vor und nach jeder Änderung dieselben Supportgespräche durch. Berücksichtige auch mehrdeutige Rückfragen und Fälle, die keinen Datenabruf erfordern. So kannst du prüfen, ob die Anwendung auch bei kürzeren Antwortzeiten für jedes Anliegen den richtigen nächsten Schritt wählt.