Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du
.md an die URL der Seite anhängst.
Verwalte lange Unterhaltungen mit serverseitiger oder eigenständiger Kontextverdichtung.
Überblick
Mit der Kontextverdichtung kannst du den Kontext bei langen Interaktionen verkleinern. Dabei bleibt der Zustand erhalten, den das Modell für die nächsten Gesprächsrunden braucht.
Wenn eine Unterhaltung länger wird, hilft dir die Kontextverdichtung, Qualität, Kosten und Latenz in Einklang zu bringen. Wie du das bisherige Reasoning beibehältst, wenn du den Gesprächsverlauf änderst, erfährst du im Leitfaden Das Präfix unverändert lassen.
Serverseitige Kontextverdichtung
Du kannst die serverseitige Kontextverdichtung beim Erstellen einer Antwort (POST /responses oder client.responses.create) aktivieren. Gib dazu in der Anfrage unter context_management den Parameter compact_threshold an.
Sobald die Anzahl der Token im gerenderten Kontext den konfigurierten Schwellenwert überschreitet, führt der Server die Kontextverdichtung aus.
In diesem Modus ist kein separater Aufruf von /responses/compact erforderlich.
Der Antwortstream enthält das verschlüsselte Verdichtungselement.
Die serverseitige Kontextverdichtung ist mit ZDR vereinbar, wenn du store=false in deinen Anfragen zum Erstellen von Antworten setzt.
Das zurückgegebene Verdichtungselement bewahrt die wesentlichen Informationen zum bisherigen Zustand und Reasoning für den nächsten Durchlauf. Dafür benötigt es weniger Token. Sein Inhalt ist für Menschen nicht direkt einsehbar und nicht zur menschlichen Interpretation gedacht.
Wenn du Anfragen zustandslos über Eingabearrays verkettest, hänge die Ausgabeelemente wie gewohnt an. Wenn du previous_response_id verwendest, übergib in jeder Gesprächsrunde nur die neue Nutzernachricht. In beiden Fällen enthält das Verdichtungselement den Kontext, den du für das nächste Kontextfenster brauchst.
Nachdem du die Ausgabeelemente an die bisherigen Eingabeelemente angehängt hast, kannst du alle Elemente vor dem jüngsten Verdichtungselement entfernen. So bleiben die Anfragen kleiner, und besonders lange Antwortzeiten lassen sich verkürzen. Das jüngste Verdichtungselement enthält den nötigen Kontext, um die Unterhaltung fortzusetzen. Wenn du Anfragen über previous_response_id verkettest, entferne keine Elemente von Hand.
Ablauf
Rufe /responses wie gewohnt auf und gib unter context_management den Parameter compact_threshold an, um die serverseitige Kontextverdichtung zu aktivieren.
Überschreitet die Kontextgröße während der Übertragung der Antwort den Schwellenwert, startet der Server die Kontextverdichtung. Er gibt das Verdichtungselement im selben Stream aus und kürzt den Kontext, bevor er die Inferenz fortsetzt.
Setze die Schleife mit einer der beiden Varianten fort. Bei der zustandslosen Verkettung über Eingabearrays hängst du die Ausgabe einschließlich der Verdichtungselemente an das nächste Eingabearray an. Bei der Verkettung über previous_response_id übergibst du in jeder Runde nur die neue Nutzernachricht und gibst die ID der Antwort an die nächste Runde weiter.
Dieser Endpunkt ist vollständig zustandslos und mit ZDR vereinbar.
Du sendest ein vollständiges Kontextfenster mit Nachrichten, Tools und weiteren Elementen. Der Endpunkt gibt ein neues, verdichtetes Kontextfenster zurück, das du beim nächsten Aufruf von /responses übergeben kannst.
Das zurückgegebene Kontextfenster enthält ein verschlüsseltes Verdichtungselement. Es bewahrt die wesentlichen Informationen zum bisherigen Zustand und Reasoning und benötigt dafür weniger Token. Sein Inhalt ist für Menschen nicht direkt einsehbar und nicht zur menschlichen Interpretation gedacht.
Das verdichtete Kontextfenster enthält in der Regel mehr als nur das Verdichtungselement. Es kann auch Elemente aus dem vorherigen Kontextfenster enthalten, die bei der Kontextverdichtung erhalten geblieben sind.
Kürze die Ausgabe von /responses/compact nicht. Das zurückgegebene Fenster ist das maßgebliche Kontextfenster für den nächsten Aufruf von /responses. Übergib es unverändert.
Ablauf der eigenständigen Kontextverdichtung
Verwende /responses wie gewohnt. Sende als Eingabeelemente Nutzernachrichten, Ausgaben des Assistenten und Interaktionen mit Tools.
Wenn dein Kontextfenster groß wird, rufe /responses/compact auf, um ein neues, verdichtetes Kontextfenster zu erzeugen. Das Fenster, das du an /responses/compact sendest, muss noch in das Kontextfenster deines Modells passen.
Übergib bei nachfolgenden Aufrufen von /responses das zurückgegebene verdichtete Kontextfenster einschließlich des Verdichtungselements als Eingabe anstelle des vollständigen Gesprächsverlaufs.
Beispielablauf
TypeScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26import OpenAI from"openai";import { toResponseInputItems } from"openai/lib/responses/ResponseInputItems";constclient=newOpenAI();constconversation:OpenAI.Responses.ResponseInput= [ { role: "user", content: "Plan a trip to Kyoto." },];constcompacted=await client.responses.compact({ model: "gpt-6-astra", input: conversation,});constnextInput:OpenAI.Responses.ResponseInput= [...toResponseInputItems(compacted.output), { role: "user", content: "Add two more days to the itinerary." },];constresponse=await client.responses.create({ model: "gpt-6-astra", input: nextInput, store: false,});console.log(response.output_text);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24# Full window collected from prior turnslong_input_items_array = [{"role": "user", "content": "Plan a trip to Kyoto."}]# 1) Compact the current windowcompacted = client.responses.compact( model="gpt-6-astra", input=long_input_items_array,)# 2) Start the next turn by appending a new user messagenext_input = [ *compacted.output, # Use compact output as-is { "type": "message", "role": "user", "content": user_input_message(), },]next_response = client.responses.create( model="gpt-6-astra", input=next_input, store=False, # Keep the flow ZDR-friendly)