Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Ratenlimits

Erfahre, welche Ratenlimits und Einschränkungen für die API gelten.

Ratenlimits legen fest, wie oft eine Person oder ein Client innerhalb eines bestimmten Zeitraums über unsere API auf unsere Dienste zugreifen kann.

Warum gibt es Ratenlimits?

Ratenlimits sind bei APIs üblich und erfüllen mehrere Zwecke:

  • Sie helfen, die API vor Missbrauch und unsachgemäßer Nutzung zu schützen. Wer den Dienst stören oder überlasten will, könnte die API zum Beispiel mit Anfragen überfluten. Mit Ratenlimits kann OpenAI solchen Angriffen vorbeugen.
  • Ratenlimits tragen dazu bei, dass alle fairen Zugang zur API haben. Sendet eine einzelne Person oder Organisation übermäßig viele Anfragen, kann die API für alle anderen langsamer werden. OpenAI begrenzt deshalb die Zahl der Anfragen pro Person. So können möglichst viele Menschen die API ohne Verzögerungen nutzen.
  • Ratenlimits helfen OpenAI, die Gesamtlast der Infrastruktur zu steuern. Steigt die Zahl der API-Anfragen stark an, können die Server an ihre Grenzen stoßen und langsamer reagieren. Mit Ratenlimits kann OpenAI dazu beitragen, dass die API für alle zuverlässig und mit gleichbleibender Leistung arbeitet.

Lies den gesamten Leitfaden, um zu verstehen, wie die Ratenlimits von OpenAI funktionieren. Du findest hier Codebeispiele und Lösungsansätze für häufige Probleme. Im Abschnitt zu den Nutzungsstufen erfährst du außerdem, wie sich deine Ratenlimits automatisch erhöhen.

Wie funktionieren Ratenlimits?

Ratenlimits beziehen sich auf Kennzahlen wie RPM (Anfragen pro Minute), RPD (Anfragen pro Tag), TPM (Token pro Minute), TPD (Token pro Tag), IPM (Bilder pro Minute) und bei einigen Audiomodellen mit Streaming auf Audiominuten pro Minute. Entscheidend ist, welches Limit du zuerst erreichst. Sendest du zum Beispiel innerhalb einer Minute 20 Anfragen mit insgesamt nur 100 Token an den ChatCompletions-Endpunkt, hast du bei einem RPM-Limit von 20 dein Anfragelimit ausgeschöpft. Das gilt auch dann, wenn du mit diesen 20 Anfragen dein TPM-Limit von 150.000 Token nicht erreichst.

Das Warteschlangenlimit der Batch API richtet sich nach der Gesamtzahl der Eingabetoken, die für ein bestimmtes Modell in der Warteschlange stehen. Die Token ausstehender Batch-Aufträge zählen zu diesem Limit. Sobald ein Auftrag abgeschlossen ist, zählen seine Token nicht mehr zum Warteschlangenlimit des Modells.

Beachte außerdem folgende Punkte:

  • Ratenlimits gelten auf Organisationsebene und auf Projektebene. Für einzelne Personen werden sie nicht gesondert festgelegt.
  • Die Ratenlimits hängen vom verwendeten Modell ab.
  • Bei Modellen mit großem Kontextfenster wie GPT-5.5 gilt für Anfragen mit langem Kontext ein eigenes Ratenlimit. Diese Ratenlimits findest du in der Entwicklungskonsole.
  • OpenAI legt für jede Organisation fest, wie viel Nutzung pro Monat zulässig ist. Dieses Limit gilt unabhängig von den Ausgabenlimits, die du für eine Organisation oder ein Projekt festlegen kannst.
  • Einige Modellfamilien teilen sich ein Ratenlimit. Das gilt für alle Modelle, die auf der Limitseite deiner Organisation unter einem gemeinsamen Limit aufgeführt sind. Liegt das gemeinsame TPM-Limit beispielsweise bei 3,5 Millionen, zählen Aufrufe sämtlicher Modelle in dieser Gruppe zu diesen 3,5 Millionen Token pro Minute.
  • Auch beim Einlesen von Dateien in einen Vektorspeicher gilt ein Ratenlimit pro Vektorspeicher-ID. Für /vector_stores/{vector_store_id}/files und /vector_stores/{vector_store_id}/file_batches gilt ein gemeinsames Limit von 300 Anfragen pro Minute je Vektorspeicher. Verwende für größere Datenmengen vorzugsweise /vector_stores/{vector_store_id}/file_batches.

Nutzungsstufen

Die drei kostenpflichtigen Nutzungsstufen heißen Build, Launch und Grow. Deine Organisation steigt automatisch in die nächste Stufe auf, sobald der Gesamtwert ihrer gekauften Credits den jeweiligen Schwellenwert erreicht. In höheren Stufen gelten für die Modelle in der Regel höhere Ratenlimits.

Die Nutzungsstufen geben an, welche Ratenlimits gelten. Aus dem Ratenlimit eines Modells geht nicht hervor, ob deine Organisation, dein Projekt oder dein API-Schlüssel Zugriff auf das Modell hat. Fehlt ein Modell, prüfe seine Verfügbarkeit.

Stufe Voraussetzung Nutzungslimit
Free Du musst dich in einem unterstützten Land oder Gebiet befinden 100 USD pro Monat
Build Credits für insgesamt 5 USD gekauft 500 USD pro Monat
Launch Credits für insgesamt 100 USD gekauft 5.000 USD pro Monat
Grow Credits für insgesamt 500 USD gekauft 200.000 USD pro Monat

Standard-Ratenlimits

Die Limits der einzelnen Modelle für deine Nutzungsstufe findest du unter Settings > Organization > Limits im Abschnitt Rate limits. Um in eine höhere Nutzungsstufe zu wechseln, wähle Upgrade tier im Abschnitt Usage Tiers.

Diese Standard-Ratenlimits unterscheiden sich von den Ultrafast-Ratenlimits.

StufeModellRPMTPM
BuildAstra, Sol, Terra5.0001.000.000
Luna5.0002.000.000
LaunchAstra, Sol, Terra10.0004.000.000
Luna10.00010.000.000
GrowAstra, Sol, Terra15.00040.000.000
Luna30.000180.000.000

Ausgabenlimits

Mit Ausgabenlimits für deine Organisation oder deine Projekte kannst du deine monatlichen API-Ausgaben steuern. Diese Einstellungen sind unabhängig von den oben genannten monatlichen Nutzungslimits.

Einstellung Was passiert beim festgelegten Betrag? Wann ist das sinnvoll?
Ausgabenwarnung Du erhältst eine Benachrichtigung. API-Anfragen laufen weiter. Du möchtest die Ausgaben verfolgen, ohne den API-Verkehr zu unterbrechen.
Festes Ausgabenlimit Betroffene API-Anfragen geben einen 429-Fehler zurück. Du möchtest eine monatliche Obergrenze für eine Organisation oder ein Projekt durchsetzen.

Ratenlimits in HTTP-Headern

Deine Ratenlimits findest du auf deiner Kontoseite. Auch die Header der HTTP-Antwort liefern wichtige Informationen zu deinen Ratenlimits, etwa die Anzahl der noch verfügbaren Anfragen und Token sowie weitere Metadaten.

Antworten können folgende Header-Felder enthalten:

Feld Beispielwert Beschreibung
Retry-After 56 Falls vorhanden, gibt dieser Wert an, wie viele Sekunden du nach einem Fehler durch ein vorübergehendes Ratenlimit mindestens bis zum nächsten Versuch warten musst.
x-ratelimit-limit-requests 60 Maximale Anzahl der Anfragen, die das Ratenlimit zulässt.
x-ratelimit-limit-tokens 150000 Maximale Anzahl der Token, die das Ratenlimit zulässt.
x-ratelimit-remaining-requests 59 Anzahl der noch zulässigen Anfragen, bis das Ratenlimit ausgeschöpft ist.
x-ratelimit-remaining-tokens 149984 Anzahl der noch zulässigen Token, bis das Ratenlimit ausgeschöpft ist.
x-ratelimit-reset-requests 1s Zeit, bis das Ratenlimit für Anfragen wieder vollständig zur Verfügung steht.
x-ratelimit-reset-tokens 6m0s Zeit, bis das Ratenlimit für Token wieder vollständig zur Verfügung steht.
x-ratelimit-limit-project-tokens 60000 Tokenlimit für das Projekt.
x-ratelimit-remaining-project-tokens 57000 Anzahl der noch zulässigen Token, bis das Token-Ratenlimit des Projekts ausgeschöpft ist.
x-ratelimit-reset-project-tokens 3s Zeit, bis das Token-Ratenlimit des Projekts wieder vollständig zur Verfügung steht.

Wenn ein Tokenlimit auf Projektebene gilt, kann die Antwort die entsprechenden Projekt-Header enthalten. Retry-After kann bei 429-Antworten aufgrund eines vorübergehenden Ratenlimits und bei 503-Antworten aufgrund einer vorübergehenden Modellüberlastung vorkommen. Bei einem ausgeschöpften Kontingent, einem Abrechnungsproblem oder einem anderen Fehler, der dein Eingreifen erfordert, reicht ein erneuter Versuch auch dann nicht aus, wenn die Antwort diesen Header enthält.

Ratenlimits für das Fine-Tuning

Die Ratenlimits deiner Organisation für das Fine-Tuning findest du ebenfalls im Dashboard. Du kannst sie auch über die API abrufen:

curl https://api.openai.com/v1/fine_tuning/model_limits \
  -H "Authorization: Bearer $OPENAI_API_KEY"

Modellverfügbarkeit

Der Zugriff auf ein Modell ist unabhängig von den Ratenlimits. Wenn deine Organisation den Schwellenwert für eine Nutzungsstufe erreicht, erhält sie damit nicht automatisch Zugriff auf jedes Modell. Fehlt ein dokumentiertes Modell im Playground oder in der Antwort auf GET /v1/models, oder gibt eine Anfrage model_not_found zurück, gehe wie folgt vor:

  1. Prüfe die Modell-ID und den Endpunkt. Verwende die exakte ID aus der Modelldokumentation. Vergewissere dich, dass das Modell deinen Endpunkt unterstützt, und achte auf Hinweise zur Einstellung oder Verfügbarkeit des Modells.
  2. Vergleiche Organisation, Projekt und Zugangsdaten. Wähle im Playground die gewünschte Organisation und das gewünschte Projekt aus. Rufe die Modellliste mit demselben API-Schlüssel ab wie bei der fehlgeschlagenen Anfrage. Falls die Anfrage die Header OpenAI-Organization oder OpenAI-Project enthielt, verwende sie mit denselben Werten. Ein Modell, das du in deiner Dashboard-Sitzung siehst, kann für einen anderen API-Schlüssel gesperrt sein.
  3. Prüfe die Projekteinschränkungen und die Anforderungen des Modells. Bitte jemanden mit Verwaltungsrechten für das Projekt, die Modellberechtigungen und die Einstellungen zur Datenaufbewahrung des Projekts zu prüfen. Beachte die Zugriffsvoraussetzungen für das jeweilige Modell und etwaige Hinweise zur schrittweisen Freigabe in der Modelldokumentation. Allein daraus, dass ein Modell fehlt, lässt sich die Ursache nicht ableiten.
  4. Aktualisiere die Ansicht und prüfe die Verfügbarkeit erneut. Lade die Modellliste oder den Playground neu, nachdem du die Zugriffseinstellungen geändert hast. Ist das Modell weiterhin nicht verfügbar, wende dich an den Support. Gib die Modell-ID, die Organisations-ID, die Projekt-ID, den Zeitpunkt der Anfrage und die Fehlermeldung an. Füge auch den Antwortheader x-request-id bei, sofern er vorhanden ist. Gib deinen API-Schlüssel nicht weiter.

Fehler vermeiden und behandeln

Auf einen schnellen Anstieg der Anfragerate und auf Modellüberlastung reagieren

Die API kann slow_down zurückgeben, wenn deine Anfragerate zu schnell steigt, oder server_is_overloaded, wenn das angefragte Modell vorübergehend überlastet ist. Prüfe den HTTP-Status und error.code, um die beiden Fälle zu unterscheiden:

HTTP-Status Fehlertyp Fehlercode Bedeutung Vorgehen
429 rate_limit_error slow_down Deine Anfragerate ist zu schnell gestiegen. Halte die Wartezeit aus Retry-After ein, sofern der Header vorhanden ist. Senke deine Anfragerate und erhöhe sie anschließend schrittweise.
503 service_unavailable_error server_is_overloaded Das angefragte Modell ist vorübergehend überlastet. Halte die Wartezeit aus Retry-After ein, sofern der Header vorhanden ist, und versuche es erneut. Tritt der Fehler weiterhin auf, verlängere die Wartezeit zwischen den Versuchen.

Fehlt Retry-After, verlängere die Wartezeit zwischen den Versuchen und füge eine kurze zufällige Verzögerung hinzu.

Ein slow_down-Fehler kann auch dann auftreten, wenn du deine Limits für Anfragen und Token pro Minute einhältst. Ausschlaggebend ist, wie schnell der API-Verkehr zugenommen hat. Die Limits müssen dafür nicht ausgeschöpft sein.

Als Faustregel gilt: Sobald du 1 Million Eingabetoken pro Minute (TPM) erreichst, erhöhe das Volumen alle 15 Minuten um höchstens 50 %. Ab wann diese Begrenzung des Anstiegs greift, kann je nach Modell und aktuellem API-Verkehr variieren.

Unternehmen mit Enterprise-Zugang, deren nutzungsbasiert abgerechneter API-Verkehr regelmäßig an diese Grenze stößt, können Scale Tier in Betracht ziehen, um die Kapazität für unterstützte Modelle besser zu planen. Informationen zu GPT-5.6 und neueren Modellen findest du unter Reserved Tier. Unabhängig von der Kapazitätsstufe gehst du bei einer slow_down-Antwort gleich vor: Halte die Wartezeit aus Retry-After ein, sofern der Header vorhanden ist, senke das Anfragevolumen und erhöhe es anschließend schrittweise.

Bestehende Fehlerbehandlung aktualisieren

Wenn deine Anwendung bereits frühere Antworten auf Drosselung oder Überlastung verarbeitet, prüfe sowohl den HTTP-Status als auch error.code:

  • Endpunkte, die zuvor in beiden Fällen 503 mit dem Code slow_down zurückgaben, melden einen zu schnellen Anstieg der Anfragerate jetzt mit 429 und slow_down. Bei einer Modellüberlastung bleibt der HTTP-Status 503, der Fehlercode lautet jetzt server_is_overloaded.
  • Wurde eine Videoanfrage aus einem dieser Gründe abgelehnt, bevor ein Auftrag erstellt wurde, lautete die Antwort bisher 429 mit dem Fehlertyp invalid_request_error und dem Fehlercode rate_limit_exceeded. Bei einem zu schnellen Anstieg der Anfragerate lautet die Antwort jetzt 429 mit rate_limit_error und slow_down. Bei einer Modellüberlastung lautet sie 503 mit service_unavailable_error und server_is_overloaded. Fehler, die im Status eines Videoauftrags gemeldet werden, sind gesondert zu behandeln.

Berücksichtige sowohl 429 als auch 503 in der Fehlerbehandlung für dein SDK. Die SDKs für Python, TypeScript und Ruby verwenden beispielsweise RateLimitError für 429 und InternalServerError für 503. Das Java-SDK verwendet dafür RateLimitException und InternalServerException. Unterstütze die früheren Antwortcodes weiterhin, solange deine Anwendung sie noch erhalten kann. Da dieselben HTTP-Statuscodes auch bei anderen Fehlern auftreten können, prüfe den Inhalt der Fehlerantwort, bevor du entscheidest, wie deine Anwendung reagieren soll.

Bei Streaming-Anfragen gelten diese HTTP-Fehlerantworten für die Zeit vor Beginn des Streams. Nach Beginn des Streams kann ein Fehler als Ereignis im Stream eintreffen. Wiederhole eine Anfrage nicht automatisch, wenn du bereits Ausgaben aus dem Stream verarbeitet hast.

Was kann ich tun, um diese Fehler zu vermeiden oder abzufangen?

Im OpenAI Cookbook findest du ein Python-Notebook, das erklärt, wie du Ratenlimitfehler vermeidest. Ein Python-Beispielskript zeigt, wie du bei der Stapelverarbeitung von API-Anfragen die Ratenlimits einhältst.

Sei vorsichtig, wenn du programmatischen Zugriff, Stapelverarbeitung oder automatisiertes Posten in sozialen Medien anbietest. Erwäge, diese Funktionen nur für Personen oder Unternehmen freizuschalten, die zu deiner Kundschaft gehören und denen du vertraust.

Um automatisiertem Missbrauch und Missbrauch in großem Umfang vorzubeugen, lege pro Person ein Nutzungslimit für einen bestimmten Zeitraum fest, etwa pro Tag, Woche oder Monat. Erwäge eine feste Obergrenze oder eine manuelle Prüfung, wenn jemand das Limit überschreitet.

Anfragen mit exponentiellem Backoff wiederholen

Wenn eine Anfrage ein vorübergehendes Ratenlimit überschreitet, gibt die API einen 429-Fehler zurück. Die Antwort kann einen Retry-After-Header enthalten, der angibt, wie viele Sekunden du bis zum nächsten Versuch warten sollst. Dieser Wert ist die Mindestwartezeit. Warte mindestens so lange und füge eine kurze zufällige Verzögerung hinzu, damit mehrere Clients ihre Anfragen nicht gleichzeitig wiederholen.

Jedes offizielle OpenAI SDK wiederholt Anfragen bei dafür vorgesehenen 429- und 503-Antworten automatisch gemäß seinen Wiederholungseinstellungen. Wie das SDK Retry-After verarbeitet, hängt von der Version und der Konfiguration ab, insbesondere bei langen Wartezeiten. Prüfe das Verhalten deiner installierten Version, bevor du davon ausgehst, dass sie jede vom Server angegebene Wartezeit unterstützt.

Gibt der Server eine gültige Wartezeit vor, die länger ist als das unterstützte oder konfigurierte Maximum, beende die Wiederholungsversuche und verschiebe die Anfrage auf später. Wiederhole sie nicht vorzeitig. Ein SDK kann den ursprünglichen HTTP-Fehler zurückgeben, wenn es eine Wartezeit oberhalb seines Limits ablehnt. Behandle Abbrüche und Zeitüberschreitungen weiterhin separat. Wird die Anfrage abgebrochen oder läuft die Frist ab, können die Wiederholungsversuche enden, ohne dass das SDK diesen HTTP-Fehler zurückgibt. Ein Zeitlimit für einzelne Versuche begrenzt nicht zwangsläufig die Dauer des gesamten Vorgangs.

Wenn du einen eigenen HTTP-Client verwendest, halte dich an Retry-After, sofern der Header vorhanden ist und einen gültigen Wert enthält. Fehlt der Header oder ist sein Wert ungültig, verwende exponentielles Backoff mit einer zufälligen Verzögerung (Jitter). Begrenze sowohl die Anzahl der Versuche als auch die Gesamtdauer der Wiederholungen. Wenn deine Anwendung die Wiederholungen selbst steuert, deaktiviere automatische Wiederholungen im SDK oder rechne sie in diese Limits ein. So vermeidest du, dass verschachtelte Wiederholungsschleifen die Zahl der Anfragen vervielfachen. Wiederhole Anfragen nicht, wenn du bei einem Fehler selbst eingreifen musst, etwa bei Kontingent- oder Abrechnungsproblemen.

Beim exponentiellen Backoff wartest du nach einer fehlgeschlagenen Anfrage zunächst kurz. Nach jedem weiteren Fehlversuch verlängerst du die Wartezeit exponentiell. Das setzt du fort, bis die Anfrage erfolgreich ist oder das konfigurierte Wiederholungslimit erreicht ist.

Das hat mehrere Vorteile:

  • Mit automatischen Wiederholungen kannst du Ratenlimitfehler abfangen, ohne dass die Anwendung abstürzt oder Daten fehlen.
  • Beim exponentiellen Backoff sind die ersten Wiederholungsversuche schnell möglich. Schlagen sie fehl, hat der Dienst vor weiteren Versuchen mehr Zeit.
  • Eine zusätzliche zufällige Verzögerung hilft zu vermeiden, dass alle Clients ihre Anfragen gleichzeitig wiederholen.

Auch fehlgeschlagene Anfragen zählen zu deinem Minutenlimit. Es hilft daher nicht, dieselbe Anfrage ohne Pause erneut zu senden.

Die folgenden Beispiele zeigen, wie du eine Anfrage für das Modell gpt-6-luna an die Responses API wiederholst. Jeder Wrapper begrenzt die Anzahl der Versuche und deaktiviert die automatischen Wiederholungen des SDKs.

Die folgenden Python-Beispiele zeigen, wie du Backoff als Ausweichstrategie einsetzt. Sie werten Retry-After nicht aus. Ergänze vor dem Einsatz die Auswertung gültiger Wartezeiten vom Server, damit die Wrapper Anfragen nicht vorzeitig wiederholen. Deaktiviere automatische Wiederholungen im SDK oder rechne sie in die Wiederholungslimits deiner Anwendung ein.

max_tokens auf die erwartete Antwortlänge senken

Für die Berechnung deines Ratenlimits zählt der größere von zwei Werten: max_tokens oder die Anzahl der Token, die anhand der Zeichenzahl deiner Anfrage geschätzt wird. Setze max_tokens möglichst nah an die erwartete Tokenzahl deiner Antwort.

Anfragen bündeln

Wenn du keine sofortigen Antworten brauchst, kannst du mit der Batch API viele Anfragen gemeinsam einreichen und ausführen lassen. Das wirkt sich nicht auf deine Ratenlimits für synchrone Anfragen aus.

Wenn du doch synchrone Antworten brauchst, gelten in der OpenAI API separate Limits für Anfragen pro Minute und Token pro Minute.

Erreichst du das Limit für Anfragen pro Minute, hast aber bei den Token pro Minute noch Spielraum, kannst du deinen Durchsatz erhöhen, indem du mehrere Aufgaben in einer Anfrage bündelst. So kannst du insbesondere mit unseren kleineren Modellen mehr Token pro Minute verarbeiten.

Wenn du mehrere Prompts gebündelt sendest, gehst du wie bei einem normalen API-Aufruf vor. Du übergibst dem Prompt-Parameter lediglich eine Liste von Zeichenketten statt einer einzelnen Zeichenkette. Mehr dazu findest du im Leitfaden zur Batch API.