Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Prompt-Caching

Senke Latenz und Kosten mit Prompt-Caching.

Vorteile von Prompt-Caching

Wenn mehrere Anfragen mit demselben Prompt-Präfix beginnen, kann das Modell dank Prompt-Caching auf bereits geleistete Rechenarbeit zurückgreifen. Das hat drei wesentliche Vorteile:

  • Weniger Rechenaufwand: Das Modell muss ein bereits verarbeitetes Prompt-Präfix nicht erneut berechnen.
  • Günstigere Eingabetoken: Für wiederverwendete Token zahlst du den reduzierten Preis des Modells für Eingaben aus dem Cache und sparst bis zu 95 %.
  • Schnellere Antworten: Das Modell braucht weniger Zeit, um die Eingabe zu verarbeiten, bevor die Antwort beginnt.

Bei unterstützten OpenAI-Modellen ist Prompt-Caching standardmäßig aktiviert. Im Dashboard für Prompt-Caching kannst du die Trefferquote bei Cache-Lesezugriffen verfolgen. Mit dem Diagnosetool für Prompt-Caching kannst du herausfinden, warum Cache-Treffer ausbleiben, und die Wiederverwendung verbessern.

Bei Modellaufrufen über die Agents API funktioniert Prompt-Caching genauso wie bei der Responses API. Wenn du Kontext innerhalb einer Sitzung wiederverwendest, kann ein gemeinsames Prompt-Präfix erhalten bleiben. Eine fortlaufende Sitzung garantiert jedoch keinen Cache-Treffer. Informationen zu den Nutzungsfeldern einer Sitzung und zur Erfassung der Nutzung durch Subagenten findest du unter Beobachtbarkeit und Nutzung.

Die Preise für Prompt-Caching hängen vom Modell ab. Die aktuellen Preise für Eingaben aus dem Cache und für Schreibzugriffe findest du in der API-Preisübersicht. Für jedes Eingabetoken gilt genau einer der drei Preise: der reguläre Eingabepreis, der Preis für Eingaben aus dem Cache oder der Schreibpreis.

Was speichert das Prompt-Caching?

Bei der Verarbeitung von Eingabetoken berechnet das Modell Zwischenzustände, sogenannte Key-Value-Zustände (KV-Zustände). Damit kann es auf frühere Token zurückgreifen, während es neue Eingaben verarbeitet und Ausgabetoken erzeugt.

Prompt-Caching speichert diesen Zustand für ein wiederverwendbares Präfix, also für die unveränderten Token am Anfang eines Prompts. Beginnt eine spätere Anfrage mit demselben Präfix und findet sich ein passender Cache-Eintrag, kann das Modell den gespeicherten Zustand nutzen, ohne diese Token erneut zu verarbeiten. Neue Eingaben muss es weiterhin verarbeiten, um eine neue Antwort zu erzeugen.

Beim Prompt-Caching werden Key-Value-Tensoren (KV-Tensoren) gespeichert, nicht die Token selbst.

ChatGPT um eine ausführlichere Erklärung bitten

OpenAI speichert den vollständigen Kontext so im Cache, wie er dem Modell vorliegt. Dazu gehören Anweisungen von OpenAI, Entwicklernachrichten, Tooldefinitionen und der Gesprächsverlauf mit Text, Bildern, Dokumenten und unterstützten Audioinhalten.

Für die Wiederverwendung muss das gesamte Präfix in der Form übereinstimmen, in der es dem Modell vorliegt. Ändert sich vor einem Haltepunkt der Inhalt oder eine relevante Einstellung, passt das Präfix ab dieser Änderung nicht mehr zum vorhandenen Cache-Eintrag.

So funktioniert das Caching

Ein Cache-Haltepunkt markiert das Ende eines Prompt-Präfixes, das OpenAI im Cache speichern und bei späteren Anfragen wiederverwenden kann. Die erste Anfrage schreibt ein geeignetes Präfix in den Cache. Bei späteren Anfragen sucht OpenAI nach dem längsten verfügbaren Präfix, das mit der Eingabe übereinstimmt. Dazu prüft OpenAI die zulässigen Haltepunkte von hinten nach vorn, bis sich ein Treffer ergibt.

Damit sich ein Prompt-Präfix im Cache speichern lässt, muss es die Mindestanzahl an Token für das Caching erreichen, die das Modell vorgibt. Token in den verborgenen Systeminhalten von OpenAI zählen dabei nicht mit. Ab GPT-5.6 liegt die Mindestlänge bei 1.024 Token. Bei früheren Modellen hängt sie von den Einstellungen der Anfrage ab. Einzelheiten findest du im Modellvergleich.

Sobald die Mindestlänge erreicht ist, kannst du Cache-Haltepunkte explizit setzen oder sie implizit von OpenAI setzen lassen. Welche Möglichkeiten du hast, hängt vom Modell ab.

So findet OpenAI passende Präfixe

OpenAI prüft in der eingehenden Anfrage nur bestimmte Präfixgrenzen für die Cache-Suche, die im Folgenden beschrieben sind. Die Suche beginnt beim längsten Präfix und geht bis zum kürzesten. Gesucht wird ein passendes Präfix, das auf dem jeweiligen Rechner bereits im Cache verfügbar ist.

Ab GPT-5.6 prüft OpenAI in der eingehenden Anfrage folgende Stellen:

  • Rein expliziter Modus: die ersten 2 und die letzten 50 expliziten Haltepunkte.
  • Impliziter Modus: die ersten 2 und die letzten 50 expliziten Haltepunkte, den impliziten Haltepunkt, das Ende von bis zu 20 früheren zulässigen Nachrichten und das Ende des anfänglichen Blocks unmittelbar aufeinanderfolgender Entwicklernachrichten. So lässt sich im impliziten Modus auch ein Präfix wiederverwenden, das mit einer früheren Nachricht endet, ohne dass dort ein expliziter Haltepunkt gesetzt wurde.
Modellgeneration
Caching-Modus

Das System setzt implizite Breakpoints bei der letzten dafür geeigneten Nutzernachricht.

Verborgener SystemkontextToolsEntwicklerrolleKontextverlaufFolgeanfrageEingabe aus dem CacheEingabe ohne Cache-Treffer
Mindestlänge für das Caching (modellabhängig)

Anfrage 1

12,000 Eingabetoken
3,000 Token(zur Veranschaulichung)

Anfrage 2

15,000 Eingabetoken
3,000 Token(zur Veranschaulichung)
0
2.5k
5k
7.5k
10k
12.5k
15k
17.5k
20k
Eingabetoken (einschließlich der beispielhaft dargestellten verborgenen Token)
15,000
Letzter Breakpoint mit Cache-Treffer
−
3,000
Verborgene Token
=
12,000
Als zwischengespeichert gemeldete Token

Cache-Laufzeit

Cache-Einträge bleiben nur begrenzte Zeit gespeichert. Die Mindestlaufzeit, die Aufbewahrungseinstellungen und das Verhalten bei der Wiederverwendung eines Präfixes hängen vom Modell ab.

Speicherort des Caches

Jeder Rechner speichert Cache-Zustände lokal. Bei mehr als 15 Anfragen pro Minute können Anfragen auf andere Rechner umgeleitet werden. Eine Anfrage kann ein gespeichertes Präfix nur dann wiederverwenden, wenn sie einen Rechner mit einem passenden, noch gültigen Eintrag erreicht. Deshalb spielt das Routing für die Wiederverwendung eine wichtige Rolle.

Jede Organisation hat eigene Caches. Eine Wiederverwendung über die Grenzen der jeweiligen Verarbeitungsregion hinweg ist nicht möglich.

OpenAI übernimmt das Routing automatisch. Innerhalb einer Organisation und einer Verarbeitungsregion hängt es für das jeweilige Modell von folgenden Faktoren ab:

  • Aktuelle Auslastung der Rechner und verfügbare Kapazität.
  • Hashwert der ersten Token nach den verborgenen OpenAI-Inhalten, einschließlich etwaiger Tooldefinitionen. Wie viele Token in den Hashwert eingehen, hängt vom Modell ab.
  • Ein mitgegebener prompt_cache_key. Er trennt die Wiederverwendung nach Gruppen von Anfragen und hilft bei Modellen vor GPT-5.6, das Cache-Routing zu optimieren.

Modellunterschiede im Überblick

Verhalten Ab GPT-5.6 GPT-5.5 und GPT-5.5 Pro Andere frühere Modelle
Implizite Haltepunkte Am Ende der letzten zulässigen Nachricht. In regelmäßigen Abständen von 2.048 Token. In regelmäßigen, modellabhängigen Abständen.
Explizite Haltepunkte Unterstützt Nicht unterstützt Nicht unterstützt
prompt_cache_key Optional zur getrennten Erfassung der Cache-Nutzung Stabilen Schlüssel zur Optimierung des Cache-Routings verwenden Stabilen Schlüssel zur Optimierung des Cache-Routings verwenden
Mindestlänge für ein Präfix im Cache 1.024 sichtbare Eingabetoken Abhängig von den Anfrageeinstellungen Abhängig von den Anfrageeinstellungen
Gemeldete Token aus dem Cache Exakte Anzahl bis zur zulässigen Präfixgrenze, ohne verborgene Token Ohne verborgene Token, auf ein Vielfaches von 128 abgerundet Ohne verborgene Token, auf ein Vielfaches von 128 abgerundet
Preis für Cache-Lesezugriffe 0,1-Faches des regulären Eingabepreises (0,05-Faches bei GPT-6.1 Sol und GPT-6.1 Terra) Modellabhängiger Preis für Eingaben aus dem Cache Modellabhängiger Preis für Eingaben aus dem Cache
Preis für Cache-Schreibzugriffe 1,25-Faches für "30m", 2,5-Faches für "12h" in der Responses API Keine zusätzliche Schreibgebühr Keine zusätzliche Schreibgebühr
Steuerung der Cache-Laufzeit prompt_cache_options.ttl prompt_cache_retention prompt_cache_retention
Unterstützte Aufbewahrungswerte "30m" (Standard) oder "12h" in der Responses API Nur "24h" "in_memory" oder "24h"*
Cache-Laufzeit Mindestens 30 Minuten oder 12 Stunden, siehe Verlängerung der Laufzeit In der Regel etwa 30 Minuten, bis zu 24 Stunden In der Regel 5 bis 10 Minuten bei Inaktivität für in_memory, bis zu 24 Stunden für 24h

* Folgende Modelle unterstützen die verlängerte Aufbewahrung: gpt-5.5, gpt-5.5-pro, gpt-5.4, gpt-5.2, gpt-5.1-codex-max, gpt-5.1, gpt-5.1-codex, gpt-5.1-codex-mini, gpt-5.1-chat-latest, gpt-5, gpt-5-codex und gpt-4.1.

Bei Modellen vor GPT-5.6 hängt die Mindestlänge für das Caching von den Anfrageeinstellungen ab. Dazu gehören Tools, Bilder, Ausgabeschemata, der Reasoning-Aufwand und die Ausführlichkeit der Antwort.

ChatGPT nach der Mindestlänge für das Caching meiner Anfrage fragen

Prompt-Caching optimieren

Achte darauf, den Gesprächsverlauf beizubehalten, Tooldefinitionen stabil zu halten und geeignete Stellen für das Caching zu wählen. Ab GPT-5.6 steuerst du die Cache-Haltepunkte mit prompt_cache_options.mode und prompt_cache_breakpoint. Mit dem optionalen prompt_cache_key kannst du in deiner Anwendung die Cache-Nutzung nach Kundenkonto getrennt erfassen. Verwende bei Modellen vor GPT-5.6 einen stabilen prompt_cache_key, um das Cache-Routing für Anfragen mit demselben wiederverwendbaren Präfix zu optimieren.

ChatGPT um Hilfe beim Optimieren meines Prompt-Cachings bitten

Beispiele

Die folgenden Beispiele gelten für Modelle ab GPT-5.6.

Häufige Stolperfallen

Häufig gestellte Fragen

Datenaufbewahrung

Alle Funktionen des Prompt-Cachings sind mit der Einstellung „Keine Datenaufbewahrung“ (ZDR) kompatibel.

Beim Prompt-Caching werden Key-Value-Tensoren (KV-Tensoren) anstelle des ursprünglichen Prompt-Texts gespeichert. Diese Tensoren können bis zu 24 Stunden als verschlüsselter Anwendungszustand im lokalen GPU-Speicher verbleiben. Angaben zu den modellspezifischen Laufzeiten und ihrer Verlängerung findest du im Abschnitt Cache-Laufzeit.

Jede Organisation hat eigene Caches. Eine Wiederverwendung über die Grenzen der jeweiligen Verarbeitungsregion hinweg ist nicht möglich. Wie die einzelnen API-Funktionen mit Daten umgehen und welche für ZDR infrage kommen, erfährst du unter Deine Daten.