In dieser Anleitung verwaltest du ein bestehendes Ratenlimit für ein Projekt und richtest eine Warnung für die monatlichen Ausgaben ein. Ratenlimits begrenzen, wie stark ein Projekt ein Modell innerhalb eines bestimmten Zeitraums nutzen kann. Ausgabenwarnungen benachrichtigen dein Team, sobald die monatlichen Nutzungskosten einen Schwellenwert erreichen. Sie stoppen keine API-Anfragen und setzen keine Ausgabenobergrenze durch.
Am Ende hast du eine wiederverwendbare Konfiguration, die folgende Aufgaben übernimmt:
- Sie liest die Datensätze zu den verfügbaren Ratenlimits eines bestehenden Projekts aus.
- Sie verwaltet die Limits für Anfragen und Token für ein Modell.
- Sie verschickt eine Warnung per E-Mail, sobald die monatlichen Projektausgaben einen Schwellenwert erreichen.
Voraussetzungen
Schließe das Setup für den Terraform-Provider ab und exportiere einen Admin-API-Schlüssel als OPENAI_ADMIN_KEY. Außerdem brauchst du:
- Die ID eines bestehenden Projekts.
- Mindestens eine E-Mail-Adresse für die Ausgabenwarnungen.
Verwende ein Testprojekt, um den Ablauf auszuprobieren. Im nächsten Abschnitt ermittelst du den Datensatz für das Ratenlimit eines Textmodells. OpenAI legt die Ratenlimit-Datensätze für ein Projekt an. Terraform aktualisiert die vorhandenen Datensätze, ohne neue anzulegen.
Ratenlimits eines Projekts ermitteln
Lies die Datensätze zu den verfügbaren Ratenlimits eines Projekts aus:
data "openai_project_rate_limits" "current" {
project_id = "proj_123"
}
output "project_rate_limits" {
value = data.openai_project_rate_limits.current.rate_limits
}
Die Datenquelle ruft die Daten ohne Schreibzugriff ab:
- Mit
project_idwählst du das Projekt aus, das du prüfen möchtest. rate_limitsenthält für jedes verfügbare Modell-Ratenlimit ein Objekt mit den Feldernidundmodelsowie den jeweils geltenden Grenzwerten.- Die Ausgabe zeigt die Datensätze nach
terraform planoderterraform applyan.
Wähle den Datensatz, dessen Feld model das Modell angibt, für das du Limits festlegen möchtest. Kopiere die id des Datensatzes. Die nächste Ressource verwendet diesen Wert als rate_limit_id. Gib die ID explizit an, damit eine Änderung am Provider oder an der API nicht zur Auswahl eines anderen Datensatzes führt.
Ein bestehendes Ratenlimit verwalten
Lege im ausgewählten Datensatz für das Textmodell die Limits für Anfragen und Token fest:
resource "openai_project_rate_limit" "application" {
project_id = "proj_123"
rate_limit_id = "rl-gpt-3.5-turbo"
max_requests_per_1_minute = 500
max_tokens_per_1_minute = 200000
}
Die Argumente haben folgende Bedeutung:
project_idgibt an, für welches Projekt du das Ratenlimit änderst.rate_limit_idist die ID eines bestehenden Ratenlimit-Datensatzes für ein Modell. Sie unterscheidet sich von der Modell-ID.max_requests_per_1_minutebegrenzt die Anzahl der Anfragen, die das Projekt pro Minute an dieses Modell senden kann.max_tokens_per_1_minutebegrenzt die Anzahl der Token, die das Projekt mit diesem Modell pro Minute verarbeiten kann.
Setze nur Felder, die für den ausgewählten Datensatz gelten. Andere Datensatztypen können Limits für Bilder pro Minute, Audiodaten in Megabyte pro Minute, Anfragen pro Tag oder Eingabe-Token für Batch pro Tag enthalten. Ein konfigurierter Wert darf das für die Organisation und das Projekt verfügbare Limit nicht überschreiten.
Im ersten Terraform-Plan erscheint diese Ressource als neu. Beim Anwenden aktualisiert der Provider den bestehenden Ratenlimit-Datensatz und speichert ihn anschließend im Terraform-State. Änderst du ein konfiguriertes Limit, aktualisiert der Provider den Datensatz erneut.
Wenn du openai_project_rate_limit aus der Konfiguration entfernst, entfernt Terraform den Datensatz aus dem Terraform-State. Das Ratenlimit bei OpenAI wird dabei weder zurückgesetzt noch gelöscht. Wenn künftig ein anderer Workflow den Datensatz verwaltet, setze die gewünschten Werte bei OpenAI, bevor du die Ressource entfernst.
Eine Ausgabenwarnung für ein Projekt einrichten
Erstelle eine Warnung für die monatlichen Projektausgaben:
resource "openai_project_spend_alert" "monthly" {
project_id = "proj_123"
threshold_amount = 20000
currency = "USD"
interval = "month"
notification_channel_type = "email"
notification_channel_recipients = ["platform-alerts@example.com"]
notification_channel_subject_prefix = "OpenAI project spend"
}
In der Konfiguration legst du fest, bei welchen Ausgaben die Warnung ausgelöst und wie sie zugestellt wird:
project_idbeschränkt die Warnung auf die Ausgaben eines einzelnen Projekts.threshold_amountgibt den monatlichen Schwellenwert in Cent an.20000entspricht 200 USD.currencymuss den WertUSDhaben.intervalmuss den Wertmonthhaben.notification_channel_typemuss den Wertemailhaben.notification_channel_recipientsmuss mindestens eine E-Mail-Adresse enthalten.- Mit
notification_channel_subject_prefixkannst du einen Text angeben, der dem Betreff jeder Warn-E-Mail vorangestellt wird.
Terraform erstellt die Warnung und speichert die dabei generierte alert_id. Änderst du den Schwellenwert oder die Benachrichtigungsfelder, aktualisiert Terraform die Warnung. Entfernst du die Ressource, löscht Terraform die Warnung bei OpenAI.
Ausgabenwarnungen benachrichtigen dein Team, begrenzen die Ausgaben aber nicht. Lege für jeden Schwellenwert fest, welche Maßnahmen im Störungsfall oder durch die Administration zu ergreifen sind. Begrenze das Anfragevolumen unabhängig davon mit Ratenlimits.
Eine Ausgabenwarnung für eine Organisation einrichten
Richte eine Warnung auf Organisationsebene ein, wenn der Schwellenwert für die Ausgaben der gesamten Organisation gelten soll:
resource "openai_organization_spend_alert" "monthly" {
threshold_amount = 100000
currency = "USD"
interval = "month"
notification_channel_type = "email"
notification_channel_recipients = ["platform-alerts@example.com"]
}
Diese Ressource verwendet dieselbe Einheit für den Schwellenwert, dasselbe Intervall, dieselbe Währung und dieselben Benachrichtigungsfelder wie eine Projektwarnung. Sie akzeptiert keine project_id, weil sie die Ausgaben der gesamten Organisation erfasst. Im Beispiel wird eine E-Mail verschickt, sobald die monatlichen Ausgaben der Organisation 1.000 USD erreichen.
Du kannst Warnungen für Projekte und Organisationen gemeinsam verwalten. Wenn auf Projekt- und Organisationsebene unterschiedliche Teams für die Reaktion zuständig sind, lege für jede Ebene eigene Schwellenwerte und E-Mail-Adressen fest.
Das vollständige Beispiel ausführen
Die bisherigen Beispiele zeigen anhand konkreter Werte, wie die einzelnen Ressourcen funktionieren. Die vollständige Konfiguration ersetzt umgebungsspezifische Werte durch Variablen. Sie liest die Ratenlimits des Projekts aus, verwaltet eines dieser Limits und richtet eine Ausgabenwarnung für das Projekt ein.
Speichere die folgende Konfiguration als main.tf:
terraform {
required_version = ">= 1.0"
required_providers {
openai = {
source = "openai/openai"
version = ">= 1.0.0"
}
}
}
provider "openai" {}
variable "project_id" {
type = string
}
variable "rate_limit_id" {
type = string
description = "Existing rate-limit record for the text model to manage."
}
variable "max_requests_per_minute" {
type = number
}
variable "max_tokens_per_minute" {
type = number
}
variable "project_spend_threshold_cents" {
type = number
description = "Monthly project spend threshold in cents."
validation {
condition = var.project_spend_threshold_cents > 0
error_message = "The project spend threshold must be greater than zero."
}
}
variable "alert_recipients" {
type = list(string)
validation {
condition = length(var.alert_recipients) > 0
error_message = "Provide at least one spend-alert recipient."
}
}
data "openai_project_rate_limits" "current" {
project_id = var.project_id
}
resource "openai_project_rate_limit" "application" {
project_id = var.project_id
rate_limit_id = var.rate_limit_id
max_requests_per_1_minute = var.max_requests_per_minute
max_tokens_per_1_minute = var.max_tokens_per_minute
}
resource "openai_project_spend_alert" "monthly" {
project_id = var.project_id
threshold_amount = var.project_spend_threshold_cents
currency = "USD"
interval = "month"
notification_channel_type = "email"
notification_channel_recipients = var.alert_recipients
notification_channel_subject_prefix = "OpenAI project spend"
}
output "available_rate_limits" {
value = data.openai_project_rate_limits.current.rate_limits
}
output "managed_rate_limit_model" {
value = openai_project_rate_limit.application.model
}
output "project_spend_alert_id" {
value = openai_project_spend_alert.monthly.alert_id
}
Erstelle terraform.tfvars und trage die ID eines bestehenden Projekts, die zuvor ermittelte ID des Ratenlimit-Datensatzes für ein Textmodell, die genehmigten Limits, einen Schwellenwert in Cent und die E-Mail-Adressen für die Warnung ein:
project_id = "proj_123"
rate_limit_id = "rl-gpt-3.5-turbo"
max_requests_per_minute = 500
max_tokens_per_minute = 200000
project_spend_threshold_cents = 20000
alert_recipients = ["platform-alerts@example.com"]
Wähle für Anfragen und Token Werte, die die aktuell für das Projekt verfügbaren Limits nicht überschreiten. Die Ausgabe available_rate_limits im Plan zeigt dir zum Vergleich die aktuellen Datensätze und Werte.
Initialisiere Terraform, prüfe den gespeicherten Plan und wende ihn an:
terraform init
terraform fmt
terraform validate
terraform plan -out=tfplan
terraform show tfplan
terraform apply tfplan
Der erste Plan sollte zwei Ressourcen zum Hinzufügen anzeigen. Bei der Ratenlimit-Ressource bezieht sich das Hinzufügen auf den Terraform-State. Beim Anwenden des Plans aktualisiert Terraform den bestehenden Ratenlimit-Datensatz bei OpenAI. Mit der zweiten Ressource erstellt Terraform die Ausgabenwarnung für das Projekt. Anschließend zeigt terraform output die verfügbaren Ratenlimits, das Modell des verwalteten Datensatzes und die ID der Warnung an.
Führe terraform plan erneut aus und prüfe, ob die Konfiguration keine weiteren Änderungen mehr vorsieht. Zeigt der Plan Abweichungen, kläre vor einer erneuten Aktualisierung, ob eine andere Person mit Administrationsrechten oder eine Automatisierung das Ratenlimit oder die Ausgabenwarnung geändert hat.