In agentischen Anwendungen und in Anwendungen mit mehreren Gesprächsrunden arbeiten unsere Modelle am besten, wenn das Reasoning über API-Anfragen hinweg erhalten bleibt und du neue Aktionen und Anweisungen immer am Ende des Modellkontexts anhängst. Beim Prompt-Caching hat es sich seit Langem bewährt, das Präfix unverändert zu lassen. Der Cache gleicht Anfragen vom Anfang an ab. Änderst du eine Stelle im Präfix, kann die Wiederverwendung der zwischengespeicherten Inhalte ab dieser Stelle entfallen. Hängst du Änderungen am Ende an, lässt sich ein größerer Teil des Gesprächsverlaufs aus dem Cache wiederverwenden. Das kann die Eingabekosten deutlich senken und die Antworten spürbar beschleunigen.
Bei neueren Frontier-Modellen verwirft die API Reasoning-Elemente, die im Gesprächsverlauf auf eine geänderte Stelle im Präfix folgen. Das ist Teil unserer Schutzmaßnahmen gegen Modelldestillation. Wenn Reasoning-Elemente wegfallen, muss das Modell möglicherweise einzelne Reasoning-Schritte wiederholen. Das kann den Token-Verbrauch, die Kosten und die Latenz erhöhen. Kann das Modell das verlorene Reasoning nicht rekonstruieren, kann auch die Qualität der Ergebnisse sinken.
Damit unsere Modelle die bestmögliche Leistung erzielen, empfehlen wir dir, das Präfix unverändert zu lassen und deine Integration so zu gestalten, dass sie neue Inhalte möglichst immer am Ende anhängt.
Was ist eine Änderung am Präfix?
Das Präfix eines Reasoning-Elements ist der Teil des Gesprächsverlaufs, der diesem Element vorausgeht. Du änderst das Präfix zum Beispiel, wenn du in diesem Teil des Verlaufs ein Tool-Ergebnis kürzt, eine Entwicklernachricht umformulierst oder frühere Gesprächsrunden durch eine Zusammenfassung ersetzt.
| Ursprüngliche Unterhaltung | Nächste Anfrage und Verarbeitung durch die API |
|---|---|
| NutzernachrichtCheck the ledger total. | Dieselbe Nachricht |
| Reasoning vor dem Toolaufruf | Wiederverwendbar |
Toolaufruflookup_ledger() | Derselbe Aufruf |
Toolergebnis[{"amount": 40}, {"amount": 50}] | Dieselben Zeilen |
| Reasoning nach dem Toolergebnis | Wiederverwendbar |
Integrationen anpassen, um Änderungen am Präfix zu vermeiden
Du kannst das Präfix unbeabsichtigt ändern, wenn du Parameter der Responses API wie tools, instructions oder text.format aktualisierst oder frühere input-Elemente bearbeitest. Prüfe deine Integration auf solche Änderungen.
Die Tabelle zeigt, bei welchen Vorgängen Integrationen häufig das Präfix ändern und wie du dasselbe Ziel nach Möglichkeit erreichst, indem du neue Inhalte am Ende des Kontexts anhängst.
| Häufiger Grund für eine Änderung am Präfix | So vermeidest du die Änderung am Präfix |
|---|---|
| Reasoning-Aufwand ändern | Lass den Parameter reasoning.effort in der Responses API unverändert. Hänge ein configuration_update-Element mit dem neuen Reasoning-Aufwand an die Liste der Eingabeelemente an. Behalte auf Anfrageebene die ursprüngliche Einstellung bei. |
| Schema für strukturierte Ausgaben ändern | Lass den Parameter text.format in der Responses API unverändert. Hänge ein configuration_update-Element mit dem neuen Schema an die Liste der Eingabeelemente an. Behalte auf Anfrageebene die ursprüngliche Einstellung bei. |
| Verfügbare Tools für den Agenten ändern | Lass den Parameter tools in der Responses API unverändert. Füge mit einem additional_tools-Element Tools hinzu oder schränke mit tool_choice und allowed_tools ein, welche Tools das Modell in einer Gesprächsrunde aufrufen darf. Behalte die Reihenfolge der vorhandenen Tool-Definitionen bei. Hänge additional_tools mit der Rolle developer und einem tools-Array an. Sende dieses Element bei weiteren Anfragen an seiner ursprünglichen Position erneut. |
| Entwickleranweisungen aktualisieren | Lass die ursprüngliche Entwicklernachricht unverändert. Hänge eine neue developer-Nachricht an, in der du das Modell anweist, ältere Anweisungen zu ignorieren und die neuen zu befolgen. Gelten die Anweisungen nur für eine Gesprächsrunde, setze unmittelbar vor die jüngste Entwicklernachricht einen expliziten Cache-Haltepunkt. Dadurch endet das wiederverwendbare Präfix vor dieser Nachricht. |
| Kontextverdichtung | Die Kontextverdichtung ändert das Präfix. Cache-Fehltreffer lassen sich daher in diesem Fall nur schwer vermeiden. Kontextverdichtung von OpenAI: Wenn du die Kontextverdichtung von OpenAI über /responses/compact oder context_management nutzt, behalten unsere Systeme nachfolgende Reasoning-Elemente auch bei geändertem Präfix bei. Das von OpenAI erzeugte Verdichtungselement kann an jeder Stelle im Kontext stehen. Lass beim Aufruf von /responses/compact den Parameter instructions weg und übergib das zurückgegebene Kontextfenster in seiner ursprünglichen Reihenfolge an die nächste Anfrage. Enthält dein Gesprächsverlauf configuration_update-Elemente, beachte die Anforderungen an die Kontextverdichtung bei Konfigurationsänderungen.Eigene Kontextverdichtung: Wenn du eine andere oder selbst entwickelte Strategie zur Kontextverdichtung nutzt, platziere das verdichtete Element am Ende des Modellkontexts, statt es vor den jüngsten Gesprächsrunden einzufügen. Du kannst es auch vor diesen Gesprächsrunden einfügen und in Kauf nehmen, dass die API die darauf folgenden Reasoning-Elemente aus dem ursprünglichen Verlauf verwirft. |
| Frühere Tool-Ausgaben kürzen oder bereits gesendete Dateien oder Bilder verkleinern | Manche Integrationen kürzen nachträglich frühere Tool-Ausgaben oder verkleinern bereits gesendete Dateien oder Bilder, statt den Kontext zu verdichten. Dadurch ändert sich das Präfix. Wir empfehlen ausdrücklich, entweder die Kontextverdichtung zu nutzen oder lange Tool-Ausgaben zu kürzen und Bilder oder Dateien zu verkleinern, bevor du sie zum ersten Mal an das Modell sendest. |
Deine Integration auf Änderungen am Präfix prüfen
Mit der Diagnose für das Prompt-Caching kannst du feststellen, wann Cache-Fehltreffer auftreten, und Änderungen am Präfix untersuchen. Um eine Anfrage mit einer früheren Antwort zu vergleichen, setze prompt_cache_options.comparison_response_id auf die ID der früheren Antwort. Prüfe anschließend den von der Diagnose angegebenen Grund und die Anzahl der zwischengespeicherten Token. Nutze diese Angaben, um Änderungen am Präfix in deiner Integration zu reduzieren. Die Diagnose meldet nach Möglichkeit den ersten erkannten Unterschied. Ob das Modell Reasoning wiederverwendet hat, kann sie nicht feststellen.
Im Feld input_transformations der Antwort der Responses API siehst du, welche Reasoning-Elemente die API aus der Eingabe entfernt hat und warum. Wenn die API ein Reasoning-Element wegen prefix_mismatch entfernt hat, kannst du anhand der id das zugehörige Reasoning-Element im Feld output einer früheren Antwort finden. Hat deine Integration eine frühere Eingabe geändert, kannst du die oben empfohlenen Anpassungen vornehmen, um das Reasoning zu erhalten.