Wenn ein Unternehmen auf einen KI-Workflow angewiesen ist, kann selbst ein kurzer Ausfall beim Anbieter Entscheidungen verzögern oder Dienste unterbrechen. Wir arbeiten mit Unternehmen aus der Finanzbranche zusammen, die mit OpenAI-Modellen agentenbasierte Anwendungen und Workflows für die Cybersicherheit entwickeln. Am Beispiel einer Betrugsprüfung ohne Schreibzugriff im Zahlungsverkehr zeigen wir, wie wir Anfragen für kritische Workloads im Produktivbetrieb weiterleiten und den Betrieb nach einer Störung wiederherstellen.
Mit First-Party (1P) bezeichnen wir hier den direkten Zugriff auf die OpenAI API. Third-Party (3P) steht für den Zugriff auf OpenAI-Modelle über einen Cloud-Anbieter, unabhängig davon, wo die Anwendung läuft. Wir zeigen, welchen Vorteil der direkte Zugriff auf Vorabversionen von Modellen und Funktionen bietet, wie die Anforderungen des Workloads und private Netzwerkverbindungen die Wahl der Route beeinflussen und welche Vorgänge sich bei einer Störung sicher auf eine andere Route verlagern lassen. Anschließend stellen wir einen Codex-Prompt vor, mit dem du die Failover-Regeln in einem bestehenden Gateway umsetzen kannst, und erklären, was du vor der Aktivierung prüfen solltest.
Warum beide Routen nutzen?
Der direkte Zugriff auf OpenAI lohnt sich auch dann, wenn du im Produktivbetrieb einen Cloud-Anbieter nutzt. Ein wichtiger Grund sind Vorabversionen von Modellen und Funktionen. Sobald sie über die direkte API verfügbar sind, können berechtigte Teams sie mit ihren eigenen Workflows testen, noch bevor der gewählte Cloud-Anbieter sie unterstützt.
Welche Route sich für den Produktivbetrieb eignet, hängt häufig davon ab, wo der Workflow läuft. Der Dienst eines Cloud-Anbieters kann gut zur bestehenden Infrastruktur und zu den betrieblichen Kontrollen einer Anwendung passen. Für einen anderen Workflow kann der direkte Zugriff auf OpenAI besser geeignet sein. Prüfe auf der gewählten Route, ob die benötigten Modelle und Funktionen verfügbar sind und sich wie erwartet verhalten. Über den direkten Zugriff auf OpenAI kannst du weiter experimentieren. Was verfügbar ist, hängt von Anbieter, Endpunkt, Region und Konto ab.
Bei kritischen Workloads ziehen wir auch ein zuvor getestetes Failover zwischen 1P und 3P in Betracht. Bei einem Anbieter-Failover wiederholt die Anwendung eine Anfrage über einen anderen freigegebenen Anbieter, wenn der primäre Anbieter sie nicht bedienen kann. Das hilft nur, wenn sich die Anfrage sicher wiederholen lässt und die Alternative die Anforderungen des Workflows erfüllt.
Ein weltweit tätiger Zahlungsdienstleister könnte die Responses API für eine in sich abgeschlossene Betrugsprüfung ohne Schreibzugriff nutzen. Kommt es beim Aufruf zu einer Zeitüberschreitung, bevor das Ergebnis verwendet wurde, kann die Anwendung den Aufruf innerhalb der Transaktionsfrist über eine geprüfte sekundäre Route wiederholen.
Für eine laufende Sitzung mit der Agents API ist ein anderes Vorgehen nötig. Ein Anbieterwechsel allein setzt weder die Unterhaltung noch die gespeicherte Arbeit fort. Auch die Ergebnisse früherer Aktionen musst du gesondert abgleichen. Diese Wiederherstellung ist wesentlich aufwendiger und geht über den Rahmen dieses Beitrags hinaus.
Deshalb ist die Unterstützung mehrerer Anbieter für uns eine Aufgabe der Plattform. Ob ein Failover sinnvoll ist, entscheiden wir für jeden Workflow einzeln.
Geplantes Routing und Failover
Die Wahl der Route für den Produktivbetrieb und die Freigabe für ein Failover sind zwei getrennte Entscheidungen. Beim geplanten Routing kannst du den Datenverkehr auf mehrere Anbieter verteilen oder bei Lastspitzen zusätzliche Anfragen über eine andere Route leiten. Für beide Varianten brauchst du eigene Tests für Kapazität, Kosten, Qualität und Wiederherstellung.
Einige Unternehmen, mit denen wir zusammenarbeiten, beziehen optional die Decisions API in ihre Routing-Entscheidungen ein. Lege fest, wie Anfragen weitergeleitet werden, wenn dieser Dienst ausfällt, damit der Workflow funktionsfähig bleibt.
In den Diagrammen ist 1P die primäre Route und eine freigegebene 3P-Route die sekundäre. Je nach Workload kann auch 3P die primäre Route sein.
Die Rolle des Routers
Abbildung 1. Die OpenAI API dient als primäre Route, ein freigegebener Drittanbieter als sekundäre. Die Plattform betreibt den Router. Die Anwendung legt die Regeln fest. Modelle, Funktionen, Kapazität, Kontrollen und Verfügbarkeit können sich je nach Route unterscheiden.
Du kannst deinen bestehenden Modellrouter oder dein LLM-Gateway verwenden, sofern du damit für jede Route eigene Regeln durchsetzen kannst. Leite Anfragen im Normalbetrieb über die primäre Route. Nutze die getestete sekundäre Route nur, wenn die Voraussetzungen für ein Failover erfüllt sind.
Lege fest, wer welche Route in welchen Regionen und mit welchen Modellen und APIs nutzen darf. Dokumentiere die freigegebenen Rechtsträger, Teams, Anbieterkonten oder Projekte sowie die Regeln für den Umgang mit Daten. Die Freigabe gilt nur für die vereinbarten Workloads und Regionen.
Private Netzwerkverbindungen und die Wahl der Route
Viele Unternehmen in regulierten Branchen schreiben private Netzwerkverbindungen als Teil ihrer Sicherheitsmaßnahmen vor. Bei der Wahl der Route müssen sie daher auch prüfen, wie sich die Cloud, in der ihre Anwendung läuft, privat mit dem jeweiligen Anbieter verbinden lässt. Das Diagramm zeigt eine Anwendung und ein Gateway im privaten Netzwerk eines Unternehmens. Zu jedem Anbieter führt ein eigener privater Netzwerkpfad.
Abbildung 2. Die OpenAI API (1P) ist die primäre Route. Die sekundäre Route führt über einen freigegebenen Anbieter (3P), etwa Amazon Bedrock oder Azure OpenAI. Nur Anfragen, die für ein Failover infrage kommen, nutzen die sekundäre Route.
Zum Zeitpunkt der Veröffentlichung unterscheiden sich die Möglichkeiten für private Verbindungen bei 1P und 3P. Beim direkten Zugriff auf OpenAI (1P) nutzt OpenAI Private Link einen Azure Private Endpoint. Damit Workloads in AWS und Google Cloud die OpenAI API auf diesem privaten Weg direkt erreichen können, muss das Unternehmen selbst eine Verbindung zu Azure verwalten.
Beim Zugriff über Drittanbieter (3P) nutzt Amazon Bedrock über AWS PrivateLink für jede API eigene VPC-Endpunkte vom Typ „Interface“. Azure OpenAI nutzt private Azure-Endpunkte. Prüfe vor der Aktivierung des Failovers auf beiden Routen die DNS-Auflösung, den Zugriff und die Unterstützung der Modelle und APIs in der jeweiligen Region. OpenAI Private Link wechselt nicht automatisch zwischen regionalen Endpunkten. Die Wiederherstellung über eine andere Region musst du deshalb gesondert konfigurieren und testen. Auch der Wechsel auf öffentliches HTTPS im Störungsfall erfordert eine ausdrückliche Freigabe.
Welche Optionen die Anbieter unterstützen, kann sich ändern. Prüfe die offizielle Dokumentation, bevor du eine Route auswählst oder aktivierst.
Welche Vorgänge eignen sich für ein Failover?
Nicht für jeden Vorgang gibt es eine geeignete sekundäre Route. Einige Beispiele:
- Fehlende Funktionen: Ein Workflow kann über die direkte OpenAI API die Websuche nutzen, um aktuelle Informationen zu prüfen. Unterstützt die sekundäre Route diese Funktion nicht, darfst du die Suche nicht stillschweigend überspringen. Teste eine alternative Implementierung oder lass das Failover für diesen Vorgang deaktiviert.
- Ungeprüftes Verhalten: Ein übereinstimmender Modellname oder eine kompatible API reichen nicht aus. Teste die sekundäre Route mit dem vorhandenen Harness und den bestehenden Evaluationen des Workflows, bevor du sie aktivierst.
- Vorgaben zum Datenstandort oder zum Zustand: Wechsle nicht zu einem Ziel, das die geltenden Vorgaben zum Datenstandort verletzt oder keinen Zugriff auf den Zustand hat, der für den sicheren Abschluss des Vorgangs erforderlich ist.
Kommt keine sekundäre Route infrage, kannst du die Aufgabe bis zur vereinbarten Frist in eine Warteschlange stellen, einen freigegebenen Ablauf mit eingeschränktem Funktionsumfang oder manueller Bearbeitung nutzen oder den Vorgang sicher beenden. Ein wiederholbarer Inferenzschritt kann für ein Failover geeignet sein, auch wenn das für den gesamten Workflow nicht gilt.
Bei einer Betrugsprüfung ohne Schreibzugriff kann nach einer Zeitüberschreitung ein weiterer Versuch infrage kommen, sofern das Ergebnis noch nicht verwendet wurde und genügend Zeit bleibt. Sobald eine Ausgabe ein anderes System erreicht hat, brauchst du für die Wiederherstellung ein getestetes Verfahren zum Neustart. Wenn eine Aktion möglicherweise schon abgeschlossen ist, kläre vor dem Neustart ihr Ergebnis und stelle sicher, dass sie nicht doppelt ausgeführt wird.
Wann und wie du auf eine andere Route wechselst
Im Zahlungsbeispiel könnte bei Überlastung oder Ausfall eines Modells ein anderes freigegebenes Modell einspringen. Das ist ein Modell-Fallback. Wiederholst du die Betrugsprüfung über einen anderen Anbieter, ist das ein Anbieter-Failover. Manchmal wechseln sowohl das Modell als auch der Anbieter.
Zuerst prüfen wir, ob ein Anbieterwechsel helfen würde. Eine Störung an einem gemeinsam genutzten Gateway, einem Dienst zum Informationsabruf oder einem Identitätssystem kann beide Routen betreffen. Teste die Netzwerkverbindung, den Zugriff und die Kapazität der sekundären Route. Prüfe, ob die Wiederherstellung über eine andere Region mit deinen Modellen und gehosteten Tools möglich ist und die Vorgaben zum Datenstandort erfüllt.
Treten weiterhin Fehler auf oder bleiben die Antwortzeiten zu lang, kann ein Circuit Breaker neue Anfragen an die betroffene Route vorübergehend unterbinden. Lege Schwellenwerte für Fehler und Antwortzeiten je Anbieter, Modell, Region und Workflow fest. Ob ein Failover zulässig ist, musst du weiterhin für jede Anfrage prüfen.
Prüfe vor einem erneuten Versuch, ob sich die Anfrage sicher wiederholen und innerhalb der Frist des Workflows abschließen lässt. Die sekundäre Route muss freigegeben, aktiviert, funktionsfähig und für die zusätzliche Last getestet sein. Außerdem muss noch Budget verfügbar sein. Beachte die OpenAI-Dokumentation zu Fehlercodes und Ratenlimits. Prüfe auch, welche Regeln andere Anbieter für Fehler, Wiederholungsversuche, Kontingente und Abrechnung vorgeben.
Die folgende Tabelle bietet einen vorsichtigen Ausgangspunkt für automatisches Failover. Berücksichtige neben dem HTTP-Status auch die Fehlerdetails des jeweiligen Anbieters.
| Bedingung | Routing-Entscheidung |
|---|---|
| Vorübergehender Dienst- oder Verbindungsfehler | Ziehe ein Failover in Betracht, wenn der Anbieterfehler einen erneuten Versuch zulässt, die Verbindung zurückgesetzt wurde oder eine Zeitüberschreitung vorliegt. |
| Anhaltende Drosselung oder lange Antwortzeiten | Ziehe ein Failover in Betracht, wenn weiteres Warten die Frist der Anfrage oder des Workflows überschreiten würde. Unterscheide vorübergehende Drosselung von Problemen mit Kontingenten oder der Abrechnung, deren Ursache du beheben musst. |
| Ungültige Anfrage, Zugriffsfehler, Ablehnung oder ausgeschöpftes Kontingent | Wechsle die Route nicht automatisch, wenn Anfragen fehlerhaft formatiert sind, 401/403-Fehler auftreten, das Modell eine Anfrage aus Sicherheitsgründen ablehnt, Kontingente oder Credits aufgebraucht sind oder das Ausgabenlimit erreicht ist. Behebe die Ursache oder eskaliere das Problem. Nicht klassifizierte Fehler sollten kein Failover auslösen. |
| Unvollständige Ausgabe oder unklarer Ausgang einer Tool-Aktion | Wiederhole den Vorgang nicht ungeprüft und gehe nicht davon aus, dass sich eine unvollständige Antwort auf einer anderen Route fortsetzen lässt. Gleiche die Ergebnisse der Aktionen ab und verhindere vor dem Neustart doppelte Schreibvorgänge. |
| Modellspezifischer Ausfall oder Kapazitätsengpass | Versuche es mit einem anderen freigegebenen Modell, das die Anforderungen an Qualität, Funktionen und Latenz erfüllt. Ist beim Anbieter die gemeinsam genutzte Infrastruktur zur Verarbeitung von Anfragen betroffen, ziehe ein Anbieter-Failover in Betracht, sofern die genannten Voraussetzungen erfüllt sind. |
Eine einzige Schicht sollte die Wiederholungsversuche für Anwendung, SDK und Gateway steuern, damit sich die Versuche nicht vervielfachen. Nutze ein gemeinsames Kontingent für Wiederholungsversuche und beachte gültige Retry-After-Angaben. Verwende andernfalls begrenztes exponentielles Backoff mit Jitter. Warte zwischen den Versuchen zunehmend länger, variiere die Wartezeit zufällig und begrenze die Zahl der Versuche. Wiederhole nur Inferenzaufrufe, bei denen das sicher möglich ist, und halte sowohl die Frist der Anfrage als auch die des Workflows ein.
Begrenze die Zahl der umgeleiteten Anfragen, damit die sekundäre Route nicht überlastet wird. Leite Anfragen schrittweise wieder über die primäre Route, sobald repräsentative Anfragen dort über einen festgelegten Zeitraum die Schwellenwerte für Fehler und Antwortzeiten einhalten. Erhöhe den Anteil nicht weiter, wenn die Werte überschritten werden. Sind beide Routen eingeschränkt, halte dich an die für den Workflow vereinbarten Wiederherstellungsregeln.
Die Failover-Regeln mit Codex umsetzen
Mit Codex können wir diese Wiederherstellungsregeln nun in einem bestehenden LLM-Gateway umsetzen. Im Zahlungsbeispiel beschränken wir die Änderung auf die in sich abgeschlossene Betrugsprüfung ohne Schreibzugriff. Die primäre Route bleibt bestehen. Das Failover bleibt deaktiviert, bis die sekundäre Route freigegeben und validiert ist.
Öffne in Codex das Repository, in dem die Gateway-Konfiguration oder das Routing der Anwendung verwaltet wird. Passe dann den folgenden Prompt an deinen Workflow und die vorgesehenen Routen an.
Implementiere für [workflow’s self-contained, read-only inference step] in [repository/gateway] ein standardmäßig deaktiviertes Anbieter-Failover. Behalte die primäre Route bei und nutze das bestehende Gateway, die freigegebenen Plattformrouten und die vorhandenen Regeln des Workflows weiter.
Prüfe die Versionen von Gateway, SDK und Adaptern, die Deployment-Konfiguration, die APIs und die aktuelle offizielle Dokumentation. Trenne die Änderungen an der Anwendung von den Änderungen am Gateway. Gib jeweils an, wer zuständig ist und welche Überprüfung erforderlich ist. Stelle Konfigurations- und Integrationstests für Abhängigkeiten bereit, die in den Zuständigkeitsbereich anderer fallen. Weise auf nicht unterstützte Kontrollen hin. Triff keine Annahmen über Freigaben oder Grenzwerte. Lass die davon abhängigen Failover-Pfade deaktiviert, bis Freigaben und Grenzwerte bestätigt sind.
Verwende für jeden Anbieter getestete Regeln zur Zuordnung von Fehlern. Lass ein Failover bei vorübergehenden Dienst- oder Netzwerkfehlern und bei nachweislich vorübergehender Drosselung nur zu, wenn sich die Anfrage sicher wiederholen lässt. Die sekundäre Route muss freigegeben, aktiviert und funktionsfähig sein und die erforderlichen Funktionen und Datenkontrollen bieten. Ihre Kapazität muss für die zusätzliche Last getestet sein. Außerdem müssen noch Budget und genügend Zeit für den Abschluss der Anfrage verfügbar sein. Sperre das Failover bei ungültigen Anfragen, Zugriffsfehlern, Ablehnungen, ausgeschöpften Kontingenten, aufgebrauchten Credits oder Budgets, unbekannten Fehlern und 429-Fehlern mit unklarer Ursache.
Steuere die Wiederholungsversuche für Client, Gateway und SDK an einer einzigen Stelle. Deaktiviere widersprüchliche Abfolgen von Wiederholungsversuchen und Failovers. Setze eine gemeinsame Obergrenze für die Gesamtzahl der Versuche durch und halte sowohl die Frist der Anfrage als auch die des Workflows ein. Verwende für jeden Versuch den konfigurierten Timeout innerhalb der Gesamtfrist. Akzeptiere pro logischer Anfrage nur ein Ergebnis und ignoriere verspätete Antworten aus früheren Versuchen. Beachte gültige Angaben im Header Retry-After. Verwende andernfalls begrenztes exponentielles Backoff mit Jitter. Wiederhole Anfragen mit unvollständiger Ausgabe oder Aktionen mit unklarem Ausgang niemals ungeprüft. Setze nicht voraus, dass der gespeicherte Zustand beim Anbieterwechsel übertragen wird. Wende die jeweils freigegebene Regel an, um die Anfrage in die Warteschlange zu stellen, ein eingeschränktes Ergebnis zurückzugeben oder die Verarbeitung zu stoppen. Ermögliche die manuelle Deaktivierung des Failovers, den Einsatz eines Circuit Breakers und die schrittweise Rückkehr zur primären Route.
Teste den tatsächlichen Anfragepfad mit lokalen HTTP-Stubs und sperre dabei externe Netzwerkverbindungen. Prüfe für jeden Testfall mit Assertions die Reihenfolge der Routen, die Anzahl der Aufrufe und die verstrichene Zeit. Decke erfolgreiche Aufrufe, Fehler, die ein Failover erlauben, jede gesperrte Fehlerklasse, nicht erfüllte Failover-Voraussetzungen, unvollständige Ausgaben, Aktionen mit unklarem Ausgang, ausgeschöpfte Budgets, den Ausfall beider Routen und die Maßnahmen zur Wiederherstellung ab. In gesperrten Fällen darf die sekundäre Route kein einziges Mal aufgerufen werden. Verwende künstliche Grenzwerte nur in Test-Fixtures und schütze Secrets. Führe Live-Aufrufe und Deployments nur mit Genehmigung durch.
Liefere möglichst kleine Patches, die Tests mit ihrer Zuordnung zu den jeweiligen Anforderungen, die Testergebnisse, eine Rollback-Anleitung und eine Liste der noch ausstehenden Live-Prüfungen. Lass alle ungeprüften Failover-Pfade deaktiviert.
Der Prompt fordert Codex auf, das Gateway gezielt anzupassen, mit Tests zu zeigen, wann die sekundäre Route aufgerufen werden soll und wann der Aufruf unterbleiben muss, und die ausstehenden Prüfungen auf den tatsächlichen Routen aufzulisten. Prüfe zuerst den Patch und die lokalen Testergebnisse. Validiere anschließend unter Last das Modellverhalten, die Kontrollen für den Umgang mit Daten, die Kapazität und die Wiederherstellung, bevor du das Failover aktivierst.
Routen und Wiederherstellung validieren
Die Prüfungen aus dem Zahlungsbeispiel eignen sich auch für andere kritische Workloads. Teste beide Routen anhand der Abnahmekriterien des Workflows für Qualität, Sicherheit, Ausgabeformat, Tool-Nutzung und Kontextgrenzen. Dokumentiere die getestete Konfiguration, die Verfügbarkeit und die Zugriffsvoraussetzungen. Berücksichtige dabei auch Verarbeitungsstufen und gehostete Funktionen. Lege fest, wann du die Tests wiederholst.
Die Vorgaben zum Umgang mit Daten bei der Betrugsprüfung gelten im Normalbetrieb ebenso wie bei der Wiederherstellung. Dazu gehören Einschränkungen bei der Protokollierung von Prompts und Ausgaben. Bevor du eine der beiden Routen aktivierst, prüfe mit den Verantwortlichen für Recht, Datenschutz, Sicherheit und Data Governance die Zugangsdaten, Netzwerkpfade, den Informationsabruf, die Tools, den gespeicherten Zustand und die Protokolle.
Kläre bei dieser Prüfung anhand der Dienstdokumentation und der Verträge, wo Daten verarbeitet und gespeichert werden, wie lange sie aufbewahrt werden, wie sie verschlüsselt sind und wer die Schlüssel und den Zugriff kontrolliert. Der Standort eines Endpunkts oder eine private Verbindung allein reichen dafür nicht aus. Welche Kontrollen und Zugangsvoraussetzungen gelten und wer wofür verantwortlich ist, hängt vom Endpunkt ab. Weitere Informationen findest du in der Dokumentation zu den Datenkontrollen von OpenAI.
Auch eine geeignete Route braucht freie Kapazität für Anfragen im Störungsfall. In einem Dashboard für den gesamten Anbieter fällt eine Drosselung des Modells für die Betrugsprüfung möglicherweise nicht auf. Erfasse deshalb für jede Route die Anfrage- und Token-Raten, die Zahl gleichzeitiger Anfragen, die Drosselung, die Antwortzeiten und das verbleibende freigegebene Budget. Schlüssele die Werte nach Modell, Konto oder Projekt und Region auf.
Prüfe in einem Lasttest, ob die sekundäre Route neben ihrer bestehenden Last auch die erwarteten Anfragen für Betrugsprüfungen samt Wiederholungsversuchen bewältigen kann. Lege anhand der Ergebnisse fest, wie viele Anfragen du bei einem Failover umleitest und welche warten, mit eingeschränktem Funktionsumfang verarbeitet oder gestoppt werden können. Ein ausreichendes Kontingent allein garantiert keinen Abschluss innerhalb der Frist.
Wenn du die Betrugsprüfung über eine andere Route leitest, können sich auch Kosten und Antwortzeit ändern. Vergleiche die Kosten pro erfolgreich abgeschlossener Prüfung. Berücksichtige dabei Kosten durch Cache-Misses sowie Gebühren für Datenübertragung und Netzwerkverbindungen. Miss auch die zusätzlichen Verzögerungen durch Cache-Misses oder Anfragen über Cloud-Grenzen hinweg.
Teste abschließend unter Last die Fehlerszenarien aus der Tabelle. Prüfe auch, was passiert, wenn Funktionen fehlen oder die sekundäre Route ausgelastet oder nicht verfügbar ist. Kontrolliere, ob die Wiederherstellungsregeln wie vorgesehen greifen, einschließlich der Begrenzung umgeleiteter Anfragen, des manuellen Stopps und der schrittweisen Rückkehr zur primären Route.
Bewerte die Wiederherstellung danach, wie schnell der Dienst wieder verfügbar ist, wie viele Prüfungen innerhalb der Frist abgeschlossen werden, welche Qualität die Ergebnisse haben, welche Kosten entstehen und ob Aktionen doppelt ausgeführt werden. Mit regelmäßigen Übungen hältst du diese Prüfungen aktuell, auch wenn Zugangsdaten ablaufen, Konfigurationen geändert werden oder sich die verfügbare Kapazität verschiebt.
Wer für die Wiederherstellung verantwortlich ist
In der Praxis bietet es sich an, die Verantwortung für den Routing-Dienst und die Anwendung zu trennen. Ein Plattformteam könnte die Anbieterintegrationen, den Router, das Monitoring und die Audit-Protokolle betreiben. Es wäre dafür zuständig, dass der Routing-Dienst für den Produktivbetrieb bereit ist und die Vorgaben zu Zielen, Identitäten, Daten, Datenverkehr und Ausgaben durchsetzt. Benannte Personen im Bereitschaftsdienst wären dafür zuständig, Routen zu deaktivieren und die Rückkehr zur primären Route zu steuern.
In diesem Modell legen die Anwendungsverantwortlichen fest, welche Vorgänge für ein Failover infrage kommen, welche Ziele für Service und Qualität gelten und welche Funktionseinschränkungen vertretbar sind. Sie verantworten auch die fachlichen Ergebnisse, den gespeicherten Kontext für die Wiederherstellung, die Tool-Berechtigungen, die Prüfung der Antworten und den Schutz vor doppelt ausgeführten Aktionen. Das gilt auch bei gemeinsam genutztem Zustand oder gemeinsam genutzten Tools.
Dein Team kann diese Rollen zusammenlegen oder anders verteilen. Kläre vor der Aktivierung des Failovers gemeinsam mit deinem Team, wer die Kontrollen freigibt, wer für Routentests und Betriebshandbücher zuständig ist und wer bei einer Störung handeln darf.
Fazit
Ziehe den direkten Zugriff auf OpenAI auch dann in Betracht, wenn du im Produktivbetrieb einen Cloud-Anbieter nutzt. Berechtigte Teams können damit Vorabversionen von Modellen und Funktionen testen. Für kritische Workloads kommt der direkte Zugriff zudem als Ausweichroute infrage. Ob sich 1P oder 3P für den Produktivbetrieb eignet, hängt von den Funktionen des Workflows, der Hosting-Umgebung und den erforderlichen Kontrollen ab. Dazu zählen bei Bedarf auch private Netzwerkverbindungen.
Beginne bei kritischen Workloads mit einem einzelnen, in sich abgeschlossenen Inferenzschritt ohne Schreibzugriff. Codex kann dir helfen, die Regeln dafür im Gateway umzusetzen und lokale Tests zu erstellen. Ob die sekundäre Route die Anforderungen des Workflows erfüllt, zeigen Tests auf den tatsächlichen Routen. Damit hat das Team einen konkreten Plan für die Wiederherstellung und weiß, wann es die Route wechseln oder die Verarbeitung stoppen soll und wer darüber entscheidet.