Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Flex-Verarbeitung

Senke deine Kosten mit der Flex-Verarbeitung.

Mit der Flex-Verarbeitung zahlst du weniger für Anfragen an die Responses API oder die Chat Completions API. Dafür sind die Antwortzeiten länger, und gelegentlich fehlen die nötigen Ressourcen. Die Flex-Verarbeitung eignet sich besonders für Aufgaben außerhalb des Produktivbetriebs oder mit niedriger Priorität, etwa für Modellevaluierungen, Datenanreicherung und asynchrone Workloads.

Für die Abrechnung der Tokens gelten die Preise der Batch API. Mit Prompt-Caching erhältst du zusätzliche Rabatte.

Die Flex-Verarbeitung ist in der Betaphase und nur für bestimmte Modelle verfügbar. Eine Liste der unterstützten Modelle findest du in der Preisübersicht.

API verwenden

Um die Flex-Verarbeitung zu nutzen, setze den Parameter service_tier in deiner API-Anfrage auf flex.

Beispiel für die Flex-Verarbeitung
from openai import OpenAI

client = OpenAI(
    # increase default timeout to 15 minutes (from 10 minutes)
    timeout=900.0
)

# you can override the max timeout per request as well
response = client.with_options(timeout=900.0).responses.create(
    model="gpt-6-astra",
    instructions="List and describe all the metaphors used in this book.",
    input="<very long text of book here>",
    service_tier="flex",
)

print(response.output_text)

Timeouts bei API-Anfragen

Da die Flex-Verarbeitung länger dauert, kommt es bei Anfragen häufiger zu Timeouts. Beachte dabei folgende Punkte:

  • Standard-Timeout: Für API-Anfragen mit einem offiziellen OpenAI-SDK beträgt das Timeout standardmäßig 10 Minuten. Bei langen Prompts oder komplexen Aufgaben musst du es möglicherweise erhöhen.
  • Timeout konfigurieren: Jedes SDK bietet einen Parameter, mit dem du das Timeout erhöhen kannst. In den SDKs für Python und TypeScript heißt er timeout, wie die Codebeispiele oben zeigen.
  • Automatische Wiederholungen: Bei einem Fehler mit dem Code 408 Request Timeout wiederholen die OpenAI-SDKs die Anfrage automatisch bis zu zweimal. Schlägt auch der zweite Wiederholungsversuch fehl, löst das SDK eine Ausnahme aus.

Fehler bei fehlenden Ressourcen

Gelegentlich reichen die verfügbaren Ressourcen für die Flex-Verarbeitung deiner Anfragen nicht aus. In diesem Fall erhältst du den Fehlercode 429 Resource Unavailable. Für diese Anfrage fallen keine Kosten an.

Wenn Ressourcen fehlen, kommen folgende Strategien infrage:

  • Anfragen mit exponentiellem Backoff wiederholen: Wenn dein Workload Verzögerungen verkraftet und du die Kosten möglichst niedrig halten möchtest, wiederhole die Anfrage in exponentiell wachsenden Abständen. Sobald wieder mehr Kapazität verfügbar ist, kann die Anfrage erfolgreich abgeschlossen werden. Wie du das umsetzt, zeigt dieses Beispiel im OpenAI Cookbook.

  • Anfragen mit Standardverarbeitung wiederholen: Wenn du einen Fehler wegen fehlender Ressourcen erhältst, kannst du die Anfrage mit Standardverarbeitung wiederholen. Das bietet sich an, wenn der erfolgreiche Abschluss in deinem Anwendungsfall gelegentliche Mehrkosten rechtfertigt. Setze dazu service_tier beim erneuten Versuch auf auto oder entferne den Parameter service_tier, um den Standardmodus des Projekts zu verwenden.