Dieser Leitfaden bündelt bewährte Verfahren für den Übergang vom Prototyp zum Produktivbetrieb. Ob du schon lange als Machine Learning Engineer arbeitest oder dich erst seit Kurzem mit maschinellem Lernen beschäftigst: Hier erfährst du, wie du die Plattform im Produktivbetrieb einsetzt. Dazu gehört, den Zugriff auf unsere API abzusichern und eine robuste Architektur für ein hohes Anfrageaufkommen zu entwerfen. Nutze den Leitfaden, um die Bereitstellung deiner Anwendung zu planen und möglichst reibungslos und effektiv umzusetzen.
Mehr über bewährte Verfahren für den Start in den Produktivbetrieb erfährst du in unserem Vortrag vom Developer Day:
Deine Organisation einrichten
Sobald du dich bei deinem OpenAI-Konto angemeldet hast, findest du den Namen und die ID deiner Organisation in den Organisationseinstellungen. Der Organisationsname erscheint als Bezeichnung deiner Organisation in den Benutzeroberflächen. Die Organisations-ID identifiziert deine Organisation eindeutig. Du kannst sie in API-Anfragen verwenden.
Wenn du mehreren Organisationen angehörst, kannst du mit einem Header angeben, welcher Organisation eine API-Anfrage zugeordnet wird. Die Nutzung durch diese Anfragen wird auf das Kontingent der angegebenen Organisation angerechnet. Ohne diesen Header werden die Kosten deiner Standardorganisation in Rechnung gestellt. Du kannst deine Standardorganisation in deinen Kontoeinstellungen ändern.
Auf der Teamseite kannst du neue Mitglieder in deine Organisation einladen. Mitglieder können die Rolle Reader oder Owner haben.
Mit der Rolle Reader kannst du:
- API-Anfragen stellen.
- Grundlegende Informationen zur Organisation einsehen.
- Ressourcen wie Assistants in der Organisation erstellen, aktualisieren und löschen, sofern nichts anderes angegeben ist.
Mit der Rolle Owner kannst du:
- Alle Berechtigungen der Rolle Reader nutzen.
- Abrechnungsinformationen ändern.
- Mitglieder der Organisation verwalten.
Nutzungs- und Ausgabenlimits verwalten
Sobald du deine Abrechnungsinformationen angegeben hast, legt OpenAI ein Nutzungslimit für deine Organisation fest. Dieses Limit erhöht sich automatisch, wenn du die Plattform stärker nutzt und in eine höhere Nutzungsstufe wechselst. Dein aktuelles Nutzungslimit findest du in deinen Kontoeinstellungen auf der Seite für Limits.
Auf der Seite für Limits kannst du Ausgabenwarnungen einrichten. Du erhältst dann eine Benachrichtigung, wenn die Nutzungskosten einen bestimmten Betrag in US-Dollar überschreiten. Um eine monatliche Obergrenze durchzusetzen, lege ein festes Ausgabenlimit fest. Sobald die erfassten Ausgaben das Limit erreichen, stoppt der betroffene API-Datenverkehr. Lies deshalb den Leitfaden zu Ausgabenlimits, bevor du ein festes Limit im Produktivbetrieb aktivierst.
API-Schlüssel
Die OpenAI API verwendet API-Schlüssel zur Authentifizierung. Auf der Seite für API-Schlüssel kannst du den Schlüssel abrufen, den du für deine Anfragen verwendest.
Verwende ein Dienstkonto des Projekts als Identität deiner Anwendung. So ist sie unabhängig vom persönlichen API-Schlüssel eines einzelnen Teammitglieds. Im Leitfaden API-Schlüssel und Dienstkonten erfährst du, wie du Zugangsdaten auswählst und die Verwaltung von Projekten und Schlüsseln automatisierst.
So lässt sich der Zugriff relativ einfach steuern. Achte aber darauf, deine Schlüssel zu schützen. Bewahre API-Schlüssel an einem sicheren Ort auf und lege sie weder im Code noch in öffentlichen Repositorys offen. Stelle sie deiner Anwendung über Umgebungsvariablen oder einen Dienst zur Verwaltung von Secrets zur Verfügung. So musst du sie nicht fest im Code hinterlegen. Weitere Informationen findest du in unseren Best Practices zum Schutz von API-Schlüsseln.
Wir empfehlen dringend, beim Erstellen eines API-Schlüssels für ein Projekt ein Ablaufdatum festzulegen und Schlüssel nach einem festen Verfahren regelmäßig auszutauschen. Erstelle vor Ablauf eines Schlüssels einen neuen und stelle deine Anwendungen darauf um. Sobald du geprüft hast, dass der neue Schlüssel funktioniert, widerrufe den alten.
Wer eine Organisation oder ein Projekt administriert, kann in den Plattformeinstellungen die maximale Gültigkeitsdauer von API-Schlüsseln auf Organisations- oder Projektebene festlegen. Neue Schlüssel müssen innerhalb dieser Frist ablaufen und können damit nicht unbegrenzt gültig bleiben. Auf Projektebene darf die Frist höchstens so lang sein wie auf Organisationsebene.
Wenn du eine Organisation oder ein Projekt administrierst, kannst du im Abschnitt API Key Governance der Plattformeinstellungen festlegen, welche Arten von API-Schlüsseln erstellt werden dürfen. Du kannst ausschließlich Schlüssel für Dienstkonten oder ausschließlich persönliche Projektschlüssel zulassen. Du kannst das Erstellen neuer API-Schlüssel auch ganz unterbinden. Die Vorgaben der Organisation haben immer Vorrang. Auf Projektebene kannst du sie weiter einschränken, aber nicht lockern. Diese Regeln gelten nur für das Erstellen neuer Schlüssel. Bestehende API-Schlüssel sind davon nicht betroffen.
Sobald die Nutzungserfassung aktiviert ist, kannst du die Nutzung deiner API-Schlüssel auf der Nutzungsseite verfolgen. Bei API-Schlüsseln, die vor dem 20. Dezember 2023 erstellt wurden, ist die Erfassung standardmäßig deaktiviert. Im Dashboard zur Verwaltung von API-Schlüsseln kannst du sie für die künftige Nutzung aktivieren. Für alle nach dem 20. Dezember 2023 erstellten API-Schlüssel ist die Erfassung aktiviert. Frühere Nutzung, die nicht erfasst wurde, erscheint im Dashboard als Untracked.
Staging-Projekte
Wenn deine Anwendung wächst, kann es sinnvoll sein, separate Projekte für deine Staging- und Produktionsumgebung anzulegen. Du kannst diese Projekte im Dashboard erstellen. So hältst du Entwicklung und Tests vom Produktivbetrieb getrennt und vermeidest versehentliche Störungen der laufenden Anwendung. Du kannst außerdem den Zugriff auf dein Produktionsprojekt beschränken und für jedes Projekt eigene Raten- und Ausgabenlimits festlegen.
Die Architektur deiner Lösung skalieren
Wenn du eine Anwendung oder einen Dienst mit unserer API für den Produktivbetrieb entwirfst, plane ein, wie du bei steigendem Anfrageaufkommen skalieren kannst. Unabhängig vom gewählten Cloud-Anbieter solltest du folgende Punkte berücksichtigen:
- Horizontale Skalierung: Wenn deine Anwendung Anfragen aus mehreren Quellen verarbeiten muss, kannst du sie horizontal skalieren. Dazu kannst du zusätzliche Server oder Container bereitstellen und die Last verteilen. Achte darauf, dass deine Architektur mehrere Nodes unterstützt und die Last zwischen ihnen ausgleichen kann.
- Vertikale Skalierung: Du kannst deine Anwendung auch vertikal skalieren, indem du einem einzelnen Node mehr Ressourcen zur Verfügung stellst. Dazu erweiterst du die Kapazität deines Servers, damit er die zusätzliche Last bewältigt. Achte bei dieser Variante darauf, dass deine Anwendung die zusätzlichen Ressourcen auch nutzen kann.
- Caching: Wenn du häufig abgerufene Daten zwischenspeicherst, kannst du die Antwortzeiten verkürzen, ohne unsere API wiederholt aufrufen zu müssen. Gestalte deine Anwendung so, dass sie nach Möglichkeit Daten aus dem Cache verwendet und den Cache bei neuen Informationen invalidiert. Je nachdem, was für deine Anwendung sinnvoll ist, kannst du die Daten beispielsweise in einer Datenbank, im Dateisystem oder in einem In-Memory-Cache speichern.
- Lastverteilung: Verteile die Anfragen möglichst gleichmäßig auf die verfügbaren Server. Dazu kannst du deinen Servern beispielsweise einen Load Balancer vorschalten oder DNS-Round-Robin verwenden. Die Lastverteilung verbessert die Leistung und hilft, Engpässe zu vermeiden.
Anfragetext komprimieren
Um die Uploadgröße zu reduzieren, komprimiere den JSON-Anfragetext mit zstd, wenn du POST /v1/responses aufrufst. Setze Content-Encoding: zstd und behalte Content-Type: application/json bei.
zstd -3 -c request.json > request.json.zst
curl https://api.openai.com/v1/responses \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-H "Content-Encoding: zstd" \
--data-binary @request.json.zst
Die API dekomprimiert den Anfragetext, bevor sie die Anfrage verarbeitet. Durch die Komprimierung werden weniger Bytes über das Netzwerk übertragen. Der Tokenverbrauch und die Kontextlimits des Modells bleiben gleich.
Der Anfragetext darf sowohl komprimiert als auch dekomprimiert höchstens 128 MiB groß sein. Außerdem darf der dekomprimierte Anfragetext höchstens 100-mal so groß sein wie der komprimierte. Bei Anfragen, die eines dieser Limits überschreiten, gibt die API HTTP 413 zurück. Die API gibt HTTP 400 zurück, wenn die zstd-Daten ungültig oder unvollständig sind. Andere Anfragelimits gelten weiterhin.
WebSocket-Nachrichten komprimieren
Der WebSocket-Modus der Responses API unterstützt permessage-deflate auf wss://api.openai.com/v1/responses. Diese WebSocket-Erweiterung verkleinert Nachrichten mit DEFLATE. Aktiviere sie in den Komprimierungseinstellungen deines WebSocket-Clients, bevor du die Verbindung herstellst.
Ratenlimits berücksichtigen
Wenn du unsere API verwendest, solltest du die Ratenlimits kennen und bei der Planung berücksichtigen.
Latenz reduzieren
Weitere Informationen findest du in unserem aktuellen Leitfaden zur Latenzoptimierung.
Die Latenz ist die Zeit, die vergeht, bis eine Anfrage verarbeitet und die Antwort zurückgegeben wurde. In diesem Abschnitt erfährst du, welche Faktoren die Latenz unserer Textgenerierungsmodelle beeinflussen und wie du sie verringern kannst.
Die Latenz einer Completion-Anfrage hängt vor allem vom Modell und von der Anzahl der generierten Token ab. Eine Completion-Anfrage läuft wie folgt ab:
Den größten Teil der Latenz verursacht in der Regel die Generierung der Token.
Faustregel: Prompt-Token tragen bei Completion-Aufrufen nur wenig zur Latenz bei. Das Generieren von Completion-Token dauert deutlich länger, da das Modell sie einzeln nacheinander erzeugt. Bei längeren Ausgaben summiert sich die Zeit für jedes weitere Token.
Häufige Einflussfaktoren und Möglichkeiten zur Latenzreduzierung
Die folgenden Faktoren beeinflussen die Latenz unterschiedlich stark. Sie sind ungefähr nach abnehmendem Einfluss geordnet.
Modell
Unsere API bietet Modelle, die unterschiedlich komplex und vielseitig einsetzbar sind. Die leistungsfähigsten Modelle, etwa gpt-6-astra, können komplexere und vielfältigere Completions generieren. Sie brauchen aber auch länger, um deine Anfrage zu verarbeiten.
Modelle wie gpt-5.6-terra und gpt-5.6-luna können Antworten schneller und kostengünstiger generieren. Wenn du bei komplexen Aufgaben mehr Leistungsreserven brauchst, ist gpt-6-astra die bessere Standardwahl. Wähle das Modell, das zu deinem Anwendungsfall passt, und wäge dabei Geschwindigkeit, Kosten und Qualität ab.
Anzahl der Completion-Token
Wenn du Completions mit vielen generierten Token anforderst, kann die Latenz steigen:
- Tokenlimit senken: Bei Anfragen, die ähnlich viele Token generieren, ist die Latenz geringer, wenn der Wert für
max_tokensniedriger ist. - Stoppsequenzen verwenden: Füge eine Stoppsequenz hinzu, damit das Modell keine unnötigen Token generiert. Mit einer Stoppsequenz kannst du beispielsweise eine Liste mit einer bestimmten Anzahl von Einträgen erzeugen. Verwendest du
11.als Stoppsequenz, kannst du die Liste auf zehn Einträge begrenzen, da die Completion bei11.endet. Mehr zur Umsetzung erfährst du in unserem Hilfeartikel zu Stoppsequenzen. - Weniger Completions generieren: Senke nach Möglichkeit die Werte für
nundbest_of. Mitnlegst du fest, wie viele Completions für jeden Prompt generiert werden sollen. Mitbest_ofwird das Ergebnis mit der höchsten logarithmischen Wahrscheinlichkeit pro Token ausgewählt.
Wenn n und best_of beide auf dem Standardwert 1 stehen, werden höchstens so viele Token generiert, wie max_tokens vorgibt.
Wenn n (die Anzahl der zurückgegebenen Completions) oder best_of (die Anzahl der zur Auswahl generierten Completions) auf einen Wert > 1 gesetzt ist, erzeugt jede Anfrage mehrere Modellergebnisse. Als Obergrenze für die Anzahl der generierten Token kannst du dann [ max_tokens * max (n, best_of) ] ansetzen.
Streaming
Setzt du in einer Anfrage stream: true, gibt das Modell Token zurück, sobald sie verfügbar sind. Es wartet also nicht, bis die gesamte Tokensequenz generiert ist. Bis alle Token vorliegen, dauert es genauso lange. Deine Anwendung erhält aber das erste Token früher. Das ist hilfreich, wenn du Teilergebnisse anzeigen oder die Generierung vorzeitig beenden möchtest. Probiere Streaming aus, um zu sehen, ob sich deine Anwendung dadurch angenehmer nutzen lässt.
Anfragen bündeln
Je nach Anwendungsfall kann es helfen, Anfragen zu bündeln. Wenn du mehrere Anfragen an denselben Endpunkt sendest, kannst du die Prompts bündeln und in einer einzigen Anfrage senden. Dadurch brauchst du weniger Anfragen. Der Prompt-Parameter kann bis zu 20 unterschiedliche Prompts enthalten. Teste, ob sich dieses Verfahren für deinen Anwendungsfall eignet. In manchen Fällen werden dadurch mehr Token generiert, sodass die Antwort länger dauert.
Kosten verwalten
Um deine Kosten im Blick zu behalten, kannst du in deinem Konto einen Schwellenwert für Benachrichtigungen festlegen. Sobald deine Nutzung diesen Wert überschreitet, erhältst du eine E-Mail. Im Dashboard zur Nutzungserfassung kannst du deinen Tokenverbrauch für den laufenden und für frühere Abrechnungszeiträume einsehen.
Textgenerierung
Beim Übergang vom Prototyp zum Produktivbetrieb musst du unter anderem ein Budget für die laufenden Kosten deiner Anwendung einplanen. OpenAI bietet ein nutzungsabhängiges Preismodell mit Preisen pro 1.000 Token (etwa 750 Wörter). Um die Kosten zu schätzen, musst du den voraussichtlichen Tokenverbrauch ermitteln. Berücksichtige dabei das erwartete Anfrageaufkommen, die Häufigkeit, mit der Menschen deine Anwendung nutzen, und die Datenmenge, die du verarbeiten wirst.
Um Einsparmöglichkeiten zu finden, betrachte die beiden Größen, von denen die Kosten abhängen: die Anzahl der Token und den Preis pro Token. Daraus ergeben sich zwei Ansätze. Du kannst die Kosten pro Token senken, indem du für bestimmte Aufgaben kleinere Modelle verwendest. Alternativ kannst du die Anzahl der benötigten Token reduzieren. Verwende dazu beispielsweise kürzere Prompts, passe Modelle durch Fine-Tuning an oder speichere häufige Anfragen im Cache, damit sie nicht wiederholt verarbeitet werden müssen.
Mit unserem interaktiven Tokenizer kannst du ausprobieren, wie viele Token ein Text benötigt, und so deine Kosten abschätzen. Auch die API und der Playground geben die Anzahl der Token in der Antwort zurück. Sobald deine Anwendung mit unserem leistungsfähigsten Modell funktioniert, kannst du prüfen, ob andere Modelle bei geringerer Latenz und niedrigeren Kosten dieselben Ergebnisse erzielen. Mehr dazu erfährst du in unserem Hilfeartikel zum Tokenverbrauch.
MLOps-Strategie
Wenn du deinen Prototyp in den Produktivbetrieb überführst, kann es sinnvoll sein, eine MLOps-Strategie zu entwickeln. MLOps (Machine Learning Operations) umfasst die Verwaltung deiner Modelle für maschinelles Lernen über ihren gesamten Lebenszyklus. Dazu gehören auch Modelle, die du über unsere API per Fine-Tuning anpasst. Berücksichtige bei deiner MLOps-Strategie folgende Bereiche:
- Daten- und Modellverwaltung: Verwalte die Daten, die du zum Trainieren oder für das Fine-Tuning deines Modells verwendest, und dokumentiere Versionen und Änderungen.
- Modellüberwachung: Beobachte die Leistung deines Modells über längere Zeit, um mögliche Probleme oder Leistungseinbußen zu erkennen.
- Erneutes Training: Halte dein Modell aktuell, wenn sich Daten oder Anforderungen ändern. Trainiere es bei Bedarf erneut oder passe es per Fine-Tuning an.
- Modellbereitstellung: Automatisiere die Bereitstellung deines Modells und der zugehörigen Artefakte in der Produktionsumgebung.
Wenn du diese Aspekte bei der Planung deiner Anwendung berücksichtigst, trägt das dazu bei, dass dein Modell auch langfristig zu deinen Anforderungen passt und gute Ergebnisse liefert.
Sicherheit und Compliance
Beim Übergang in den Produktivbetrieb musst du prüfen, welche Sicherheits- und Compliance-Anforderungen für deine Anwendung gelten, und sie umsetzen. Sieh dir dazu an, mit welchen Daten du arbeitest, wie unsere API sie verarbeitet und welche Vorschriften du einhalten musst. Die umfassendste und aktuellste Dokumentation findest du in unseren Informationen zu Sicherheitsverfahren und in unserem Portal für Vertrauen und Compliance. Zum Nachlesen findest du hier auch unsere Datenschutzrichtlinie und unsere Nutzungsbedingungen.
Berücksichtige insbesondere, wie du Daten speicherst und überträgst und wie lange du sie aufbewahrst. Möglicherweise musst du auch Datenschutzmaßnahmen umsetzen, etwa Daten verschlüsseln oder, wo möglich, anonymisieren. Halte dich außerdem an bewährte Verfahren für sichere Softwareentwicklung, etwa das Bereinigen von Eingaben und eine angemessene Fehlerbehandlung.
Best Practices für die Anwendungssicherheit
Wenn du eine Anwendung mit unserer API entwickelst, orientiere dich an unseren Best Practices für die Anwendungssicherheit, damit du sie sicher und erfolgreich betreiben kannst. Die Empfehlungen erläutern, warum du dein Produkt gründlich testen, mögliche Probleme frühzeitig angehen und die Möglichkeiten für Missbrauch begrenzen solltest.
Geschäftliche Überlegungen
Wenn ein KI-Projekt vom Prototyp in den Produktivbetrieb übergeht, solltest du dir überlegen, wie du mit KI ein gutes Produkt entwickelst und wie es zu deinem Kerngeschäft passt. Auch wir haben darauf nicht alle Antworten. Einen guten Einstieg bietet unser Vortrag vom Developer Day, in dem wir diesen Fragen gemeinsam mit einigen unserer Kundenunternehmen nachgehen: