Mit Ausgabenwarnungen behältst du deine monatlichen API-Kosten im Blick. Soll der API-Verkehr stoppen, wenn die erfassten Ausgaben einen festgelegten Betrag erreichen, aktiviere ein hartes Ausgabenlimit für deine Organisation oder ein einzelnes Projekt.
Harte Ausgabenlimits können den API-Verkehr im Produktivbetrieb unterbrechen. Wenn die erfassten Ausgaben ein geltendes hartes Limit erreichen, beantwortet die API betroffene Anfragen mit einem 429-Fehler und dem Code organization_spend_limit_exceeded oder project_spend_limit_exceeded. Das Limit greift mit Verzögerung. Deshalb können die erfassten Ausgaben den festgelegten Betrag geringfügig überschreiten.
Die passende Ausgabenkontrolle wählen
Ausgabenwarnungen und harte Ausgabenlimits wirken unterschiedlich:
| Maßnahme | Was passiert, wenn der festgelegte Betrag erreicht ist? | Wann ist das sinnvoll? |
|---|---|---|
| Ausgabenwarnung | Du erhältst eine Benachrichtigung. Der API-Verkehr läuft weiter. | Du möchtest die Ausgaben verfolgen, ohne den API-Verkehr zu unterbrechen. |
| Hartes Ausgabenlimit | Die API beantwortet betroffene Anfragen mit einem 429-Fehler. |
Du möchtest eine monatliche Obergrenze für eine Organisation oder ein Projekt durchsetzen. |
Ausgabenwarnungen begrenzen die Ausgaben nicht. Sie bleiben aktiv, wenn du ein hartes Ausgabenlimit hinzufügst. So kannst du dich benachrichtigen lassen, bevor das harte Limit den API-Verkehr unterbricht.
OpenAI genehmigt für deine Organisation außerdem ein monatliches Nutzungslimit, das von ihrer Nutzungsstufe abhängt. Dieses von OpenAI genehmigte Nutzungslimit gilt unabhängig von den Ausgabenlimits, die du selbst festlegst.
Ein Ausgabenlimit festlegen
Du brauchst die Berechtigung, die Einstellungen der jeweiligen Organisation oder des jeweiligen Projekts zu verwalten. Einzelheiten findest du im Leitfaden zu den Berechtigungen der API-Plattform.
- Öffne die Limits deiner Organisation.
- Wähle unter Ausgaben die Option Ausgabenlimit bearbeiten.
- Gib unter Monatliches Ausgabenlimit den gewünschten Betrag ein.
- Aktiviere Hartes Limit durchsetzen, damit die API Anfragen mit einem Fehler beantwortet, wenn die Organisation das Limit erreicht hat.
- Wähle Speichern.
- Öffne die Projekteinstellungen.
- Wähle Limits.
- Wähle unter Ausgaben die Option Ausgabenlimit bearbeiten.
- Gib unter Monatliches Ausgabenlimit den gewünschten Betrag ein.
- Aktiviere Hartes Limit durchsetzen, damit die API Anfragen mit einem Fehler beantwortet, wenn das Projekt das Limit erreicht hat.
- Wähle Speichern.
So wirken harte Ausgabenlimits
Für eine Anfrage können sowohl das harte Limit der Organisation als auch das des Projekts gelten:
- Ein hartes Limit für die Organisation gilt für den API-Verkehr aller Projekte dieser Organisation.
- Ein hartes Limit für ein Projekt gilt nur für den API-Verkehr, der über dieses Projekt abgerechnet wird.
- Erreicht die Organisation ihr hartes Limit, antwortet die API mit einem
429-Fehler und dem Codeorganization_spend_limit_exceeded. - Erreicht das Projekt sein hartes Limit, antwortet die API mit einem
429-Fehler und dem Codeproject_spend_limit_exceeded. - Wenn du das erreichte Limit erhöhst oder aufhebst, kann der API-Verkehr wieder anlaufen, sobald die Änderung überall wirksam ist. Andernfalls wird das Limit zu Beginn des nächsten Monatszyklus zurückgesetzt.
Das Limit greift mit Verzögerung. Bis es überall wirksam ist, kann die API-Plattform noch in geringem Umfang weitere Anfragen verarbeiten. Deshalb können die erfassten Ausgaben den festgelegten Betrag geringfügig überschreiten.
Ausgabenwarnungen
Mit Ausgabenwarnungen kannst du dich benachrichtigen lassen, bevor deine Ausgaben ein hartes Limit erreichen. Lege die Schwellenwerte so fest, dass dir genug Zeit bleibt, die Nutzung anzupassen, das Limit anzuheben oder unerwarteten API-Verkehr zu untersuchen.
API-Verkehr wiederherstellen
Wenn Anfragen wegen eines Abrechnungslimits oder fehlenden Guthabens fehlschlagen, gehe wie folgt vor:
- Prüfe
error.code, um die Ursache zu ermitteln. Möglicherweise hat die Anfrage das Ausgabenlimit der Organisation, das Ausgabenlimit des Projekts oder das von OpenAI festgelegte Nutzungslimit erreicht. Es kann auch sein, dass die Organisation ihre im Voraus bezahlten Credits aufgebraucht hat. - Vergleiche bei
organization_spend_limit_exceededoderproject_spend_limit_exceededdie aktuelle Nutzung mit deinen Ausgabenlimits. Erhöhe das erreichte Limit oder hebe es auf, wenn der API-Verkehr vor Beginn des nächsten Monatszyklus wieder anlaufen soll. - Beantrage bei
organization_usage_limit_exceededdie Genehmigung für ein höheres Nutzungslimit. - Bei
credit_balance_exhaustedmusst du Credits hinzufügen. - Meldet die API ein Ratenlimit für Anfragen oder Token, folge dem Leitfaden zu Ratenlimits.