Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du
.md an die URL der Seite anhängst.
Verkürze die Antwortzeit des Modells, wenn ein großer Teil der Antwort schon im Voraus bekannt ist.
Vorhergesagte Ausgaben beschleunigen API-Antworten von Chat Completions, wenn du viele der Ausgabetoken schon im Voraus kennst. Das ist häufig der Fall, wenn du eine Text- oder Codedatei mit kleinen Änderungen neu generieren lässt. Deine Vorhersage übergibst du in Chat Completions über den Anfrageparameter prediction.
Vorhergesagte Ausgaben sind mit den aktuellen Versionen der Modelle gpt-4o, gpt-4o-mini, gpt-4.1, gpt-4.1-mini und gpt-4.1-nano verfügbar. Die folgenden Beispiele zeigen dir, wie du damit die Latenz in deinen Anwendungen verringerst.
Beispiel für ein Code-Refactoring
Vorhergesagte Ausgaben eignen sich besonders gut, wenn du Textdokumente oder Codedateien mit kleinen Änderungen neu generieren lässt. Angenommen, du möchtest mit dem Modell GPT-4o JavaScript-Code überarbeiten und die Eigenschaft username der Klasse User in email umbenennen.
Bis auf Zeile 4 bleibt die Datei unverändert. Wenn du den aktuellen Dateiinhalt als Vorhersage übergibst, kann das Modell die gesamte Datei schneller neu generieren. Bei größeren Dateien summiert sich die Zeitersparnis schnell.
Im folgenden Beispiel übergibst du den Inhalt der ursprünglichen Codedatei über den Parameter prediction in unseren SDKs. Damit gibst du an, dass du eine Modellausgabe erwartest, die dem ursprünglichen Code sehr ähnlich ist.
JavaScript-Klasse mit einer vorhergesagten Ausgabe überarbeiten
Achte auf die Felder accepted_prediction_tokens und rejected_prediction_tokens im Objekt usage. In diesem Beispiel hat das Modell 14 Token aus der Vorhersage übernommen und damit die Antwort beschleunigt. Zwei Token hat es verworfen.
Die API berechnet auch verworfene Token zum selben Preis wie andere von ihr
generierte Ausgabetoken. Vorhergesagte Ausgaben können deine Anfragen daher
verteuern.
Beispiel für Streaming
Wenn du API-Antworten per Streaming empfängst, lässt sich die Latenz mit vorhergesagten Ausgaben noch stärker verringern. Das folgende Beispiel zeigt dasselbe Code-Refactoring mit Streaming in den SDKs von OpenAI.
Der Text, den du als Vorhersage übergibst, kann an jeder Stelle der generierten Antwort stehen und die Antwortzeit trotzdem verkürzen. Angenommen, du übergibst als Vorhersage den Code für diesen einfachen Hono-Server.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25import { serve } from"@hono/node-server";import { serveStatic } from"@hono/node-server/serve-static";import { Hono } from"hono";constapp=newHono();app.get("/api", (c) => {return c.text("Hello Hono!");});// You will need to build the client code first: `pnpm run ui:build`.app.use("/*",serveStatic({rewriteRequestPath: (path) =>`./dist${path}`, }));constport=3000;console.log(`Server is running on port ${port}`);serve({ fetch: app.fetch, port,});
Mit einem Prompt wie diesem kannst du das Modell bitten, die Datei neu zu generieren.
Füge der Anwendung eine GET-Route hinzu, die den Text „hello world“ zurückgibt.Gib die gesamte Anwendungsdatei mit der neuen Route und ohne zusätzlicheMarkdown-Formatierung aus.
Die Antwort auf den Prompt könnte so aussehen.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29import { serve } from"@hono/node-server";import { serveStatic } from"@hono/node-server/serve-static";import { Hono } from"hono";constapp=newHono();app.get("/api", (c) => {return c.text("Hello Hono!");});app.get("/hello", (c) => {return c.text("hello world");});// You will need to build the client code first: `pnpm run ui:build`.app.use("/*",serveStatic({rewriteRequestPath: (path) =>`./dist${path}`, }));constport=3000;console.log(`Server is running on port ${port}`);serve({ fetch: app.fetch, port,});
Auch in der gekürzten Modellantwort ohne das Feld choices siehst du, wie viele vorhergesagte Token das Modell übernommen hat. Der vorhergesagte Text steht hier teils vor und teils nach dem neu eingefügten Code.
Diesmal hat das Modell kein einziges vorhergesagtes Token verworfen, weil es den gesamten als Vorhersage übergebenen Dateiinhalt in die Antwort übernommen hat. Sehr gut! 🔥
Einschränkungen
Beachte beim Einsatz vorhergesagter Ausgaben die folgenden Punkte.
Nur die Modellreihen GPT-4o, GPT-4o mini, GPT-4.1, GPT-4.1 mini und GPT-4.1 nano unterstützen vorhergesagte Ausgaben.
Die API berechnet auch die Token aus deiner Vorhersage, die in der endgültigen Antwort fehlen, zum Preis für Ausgabetoken. An der Eigenschaft rejected_prediction_tokens des Objekts usage siehst du, wie viele Token das Modell für die Antwort verworfen hat.
Für die folgenden API-Parameter gelten bei vorhergesagten Ausgaben Einschränkungen.
n: Werte über 1 werden nicht unterstützt.
logprobs: Wird nicht unterstützt.
presence_penalty: Werte über 0 werden nicht unterstützt.
frequency_penalty: Werte über 0 werden nicht unterstützt.