Private Link

Mit OpenAI Private Link erreichen Azure-Workloads regionale Endpunkte der OpenAI API über Azure Private Link, statt sich direkt mit öffentlichen API-Endpunkten zu verbinden. Erstelle für jeden von OpenAI bereitgestellten regionalen Private Link Service einen privaten Endpunkt, ordne ihm seinen regionalen Hostnamen im privaten DNS zu und sende reguläre authentifizierte API-Anfragen an diesen Hostnamen.

Verwende Private Link, wenn deine Organisation strenge Vorgaben hat, den Datenverkehr innerhalb der privaten Azure-Netzwerkinfrastruktur zu halten. Wenn du keine Anforderungen an private Netzwerke hast, sind die öffentlichen Endpunkte von OpenAI einfacher einzurichten und zu betreiben. Private Link ist nicht mit IP-Zulassungslisten oder Mutual TLS (mTLS) kompatibel. Wende dich an OpenAI, wenn du Hilfe bei der Auswahl geeigneter Netzwerkkontrollen für dein Unternehmen benötigst.

So funktioniert Private Link

Einige Unternehmen nutzen bisher die ältere Private Link-Lösung (v1), die jeden Private Endpoint mit einem bestimmten OpenAI API-Cluster verbindet. Die aktuelle regionale Lösung unterscheidet sich wie folgt:

Eine Anfrage nimmt folgenden Weg:

1. Deine Anwendung löst einen regionalen Private Link-Hostnamen über dein privates DNS auf.
2. Der Hostname wird zu einem Azure Private Endpoint in deinem virtuellen Netzwerk aufgelöst.
3. Der Private Endpoint verbindet sich mit dem regionalen OpenAI Private Link Service.
4. Der Private Link Service sendet die Anfrage an das regionale private Edge-Gateway von OpenAI.
5. Das Gateway leitet die Anfrage an einen dahinterliegenden OpenAI API-Cluster für diesen regionalen Routing-Pfad weiter, der für die Unternehmensnutzung freigeschaltet ist.

Innerhalb eines regionalen Routing-Pfads kann Private Link einen nicht verfügbaren dahinterliegenden Cluster umgehen. OpenAI kann weitere Cluster hinzufügen, ohne dass du deine Private Endpoints neu konfigurieren musst. Private Link leitet den Datenverkehr vom ausgewählten regionalen Hostnamen nicht automatisch an einen Private Endpoint in einer anderen Region um. Gehe nicht davon aus, dass Private Link das Routing-Verhalten der öffentlichen Endpunkte von OpenAI übernimmt. Konfiguriere, wie deine Anwendung bei Ausfällen zwischen Regionen wechselt.

Regionale Endpunkte auswählen

OpenAI stellt beim Onboarding den genauen Alias oder die Ressourcenkennung des Private Link Service bereit. Die aktuellen regionalen Hostnamen für den Produktivbetrieb sind:

Der Hostname für Spain Central / EU kann Anfragen an dahinterliegende Cluster in anderen EU-Regionen wie North Europe weiterleiten.

Private Link einrichten

1. Informationen für das Onboarding bereitstellen

Sende OpenAI folgende Informationen:

• Die IDs der Azure-Abonnements, die Zugriff auf die OpenAI Private Link Services benötigen.
• Deine OpenAI-Organisations-ID.
• Die benötigten Regionen.
• Kontaktpersonen im Betrieb für Mitteilungen zu Wartungsarbeiten und zur Umleitung des Datenverkehrs zwischen Regionen.

OpenAI macht die entsprechenden regionalen Private Link Services für die Abonnements sichtbar und erteilt die Genehmigung zur Nutzung. Anschließend stellt OpenAI die Aliasse oder Ressourcenkennungen der Private Link Services bereit.

2. Private Endpunkte erstellen

Erstelle für jede ausgewählte Region einen Private Endpoint. Azure verlangt, dass sich ein Private Endpoint in derselben Region wie dein virtuelles Netzwerk befindet. Setze --location auf diese Region. Sie kann von der Region des OpenAI Private Link Service abweichen.

Der folgende Befehl verwendet eine von OpenAI bereitgestellte Ressourcenkennung für einen Private Link Service:

12345678az network private-endpoint create \
  --name openai-privatelink-southcentralus \
  --resource-group <customer-resource-group> \
  --location <customer-vnet-region> \
  --vnet-name <customer-vnet> \
  --subnet <customer-private-endpoint-subnet> \
  --private-connection-resource-id <openai-provided-pls-resource-id> \
  --connection-name openai-privatelink-southcentralus

Wenn OpenAI einen Alias bereitstellt, verwende diesen und füge --manual-request true hinzu:

123456789az network private-endpoint create \
  --name openai-privatelink-southcentralus \
  --resource-group <customer-resource-group> \
  --location <customer-vnet-region> \
  --vnet-name <customer-vnet> \
  --subnet <customer-private-endpoint-subnet> \
  --private-connection-resource-id <openai-provided-pls-alias> \
  --connection-name openai-privatelink-southcentralus \
  --manual-request true

Azure erfordert --manual-request true für Verbindungen über einen Alias. Abonnements auf der Zugriffsliste können dennoch automatisch genehmigt werden.

Nutze einen ähnlichen Ablauf im Azure-Portal oder mit Terraform, wenn deine Organisation Private Endpoints über Infrastructure as Code verwaltet.

3. Verbindung vor DNS-Änderungen testen

Nachdem OpenAI den Private Endpoint genehmigt und Azure ihn bereitgestellt hat, notiere seine private IP-Adresse. Teste mit curl --resolve den regionalen Hostnamen, ohne DNS global zu ändern:

123curl -v \
  --resolve southcentralus.privatelink.api.openai.com:443:<PRIVATE_ENDPOINT_IP> \
  https://southcentralus.privatelink.api.openai.com/v2/privatelink_healthcheck

Bei erfolgreicher Integritätsprüfung erhältst du HTTP 200 mit einer Meldung wie dieser:

{ "message": "Service is up" }

Verwende genau diesen Pfad für die Integritätsprüfung: /v2/privatelink_healthcheck. Halte den Datenverkehr automatisierter Integritätsprüfungen gering: Verwende höchstens 1 QPS pro regionalem Endpunkt, sofern OpenAI keine andere Rate genehmigt.

4. Privates DNS konfigurieren

Erstelle private DNS-Einträge, damit jeder regionale OpenAI Private Link-Hostname innerhalb deines Netzwerks zur IP-Adresse des zugehörigen Private Endpoint aufgelöst wird:

Prüfe DNS und Verbindung über denselben Netzwerkpfad, den deine Anwendung verwendet:

nslookup southcentralus.privatelink.api.openai.com
curl -v https://southcentralus.privatelink.api.openai.com/v2/privatelink_healthcheck

5. Bei Ausfällen zwischen Regionen wechseln

Private Link stellt einen regionalen Einstiegspunkt bereit. Dein Datenverkehr ist aber weiterhin an den von dir ausgewählten regionalen Hostnamen gerichtet. Konfiguriere deinen Client, dein Service Mesh, deine DNS-Schicht oder deine Lastverteilung so, dass bei Ausfällen auf eine andere Region umgeschaltet wird.

Empfohlenes Verhalten:

• Prüfe jede konfigurierte Region mit GET /v2/privatelink_healthcheck.
• Werte die Region bei HTTP 200 als verfügbar.
• Werte die Region bei 5xx-Antworten, Verbindungsfehlern, TLS-Fehlern oder wiederholten Zeitüberschreitungen als nicht verfügbar.
• Schalte erst nach einigen aufeinanderfolgenden Fehlern auf eine andere Region um, um ständiges Hin- und Herschalten zu vermeiden.
• Prüfe eine nicht verfügbare Region weiterhin im Hintergrund und schalte gemäß deinen Betriebsvorgaben wieder auf sie zurück.

Die regionale Integritätsprüfung gibt den Zustand der OpenAI-API-Cluster hinter dem Private-Edge-Pfad wieder. Eine Region gibt einen Fehler zurück, wenn keine dahinterliegenden Cluster bekannt sind, die Konfiguration für die Integritätsprüfung fehlt oder nicht genügend funktionsfähige Cluster vorhanden sind.

Wenn deine Routing-Entscheidung von einer bestimmten API oder einem bestimmten Modell abhängt, ergänze diese Integritätsprüfung durch synthetische Anfragen mit niedriger Frequenz an diese API und dieses Modell über denselben Netzwerkpfad.

6. Basis-URLs der Anwendung aktualisieren

Verwende den regionalen Private Link-Hostnamen als Basis-URL für die OpenAI API:

1
2
3
4
5from openai import OpenAI

client = OpenAI(
    base_url="https://southcentralus.privatelink.api.openai.com/v1",
)

1
2
3client = OpenAI::Client.new(
  base_url: "https://southcentralus.privatelink.api.openai.com/v1"
)

Das SDK liest OPENAI_API_KEY aus deiner Umgebung.

Du kannst den regionalen Endpunkt auch direkt aufrufen:

1
2
3
4
5
6
7curl https://southcentralus.privatelink.api.openai.com/v1/responses \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-6-astra",
    "input": "Say hello from Private Link."
  }'

Beginne in einer Entwicklungs- oder Staging-Umgebung und stelle den Datenverkehr anschließend schrittweise um.

Konfiguration prüfen

Verwende diese Checkliste beim Onboarding oder bei der Migration zu Private Link:

• OpenAI hat bestätigt, dass deine Azure-Abonnement-IDs auf die ausgewählten regionalen Private Link Services zugreifen können.
• Du hast für jede ausgewählte Region Private Endpoints erstellt und OpenAI hat sie genehmigt.
• Du hast die IP-Adressen der Private Endpoints dokumentiert.
• Der Aufruf von /v2/privatelink_healthcheck mit curl --resolve ist erfolgreich.
• Das private DNS löst regionale Hostnamen aus dem Netzwerk der Anwendung in die IP-Adressen der Private Endpoints auf.
• Die Anwendung kann einen repräsentativen API-Endpunkt unter /v1 über den regionalen Hostnamen aufrufen.
• Für die automatisierten Integritätsprüfungen ist die Anfragerate begrenzt. Bei Fehlern werden Region, Statuscode und Fehlertyp protokolliert.
• Du hast das Failover-Verhalten der Anwendung getestet, indem du in einer kontrollierten Umgebung für eine Region gezielt einen fehlerhaften Zustand erzwungen hast.
• Deine Betriebsdokumentation legt fest, wer DNS, die Konfiguration der Private Endpoints und das regionale Routing der Anwendung ändern darf.

Kompatibilität der Endpunkte prüfen

Die folgende Matrix zeigt die aktuelle Bereitstellungskonfiguration der Dienste hinter den aufgeführten öffentlichen API-Routen. Sie ersetzt keine eigenen Tests unter realen Bedingungen: Prüfe in jeder Zielregion die Modellverfügbarkeit, die Voraussetzungen für den Produktzugriff, nachgelagerte Abhängigkeiten, Größenlimits für Anfragen sowie das Streaming- und WebSocket-Verhalten. Yes bedeutet, dass die Route auf jedem dahinterliegenden Cluster des regionalen Pfads vorhanden ist; No bedeutet, dass der zugrunde liegende Dienst auf diesem Pfad fehlt.

Häufig gestellte Fragen

Wechselt Private Link bei einem Ausfall automatisch zu einer anderen Region?

Nein. Die regionale Private-Edge-Anbindung kann Anfragen an die dafür konfigurierten Backend-Cluster weiterleiten, verschiebt deinen Datenverkehr aber nicht automatisch zu einem Private Endpoint in einer anderen Region. Konfiguriere deine Anwendung so, dass sie bei einem Ausfall zwischen den von dir verwendeten regionalen Endpunkten wechseln kann.

Welche Integritätsprüfung sollte ich verwenden?

Verwende GET /v2/privatelink_healthcheck mit dem regionalen Hostnamen. Die älteren v1-Pfade für Integritätsprüfungen prüfen den internen Integritätsprüfpfad der Backend-Cluster. Verwende sie daher nicht für kundenseitige Prüfungen.

Welchen API-Hostnamen sollten Anwendungen verwenden?

Verwende den regionalen Hostnamen mit dem normalen API-Pfad /v1, zum Beispiel https://southcentralus.privatelink.api.openai.com/v1.

Können sich Workloads in AWS oder Google Cloud über Private Link verbinden?

Nicht direkt. Private Link-Verbindungen sind auf Azure beschränkt. Workloads in AWS oder Google Cloud können sich nur über eine kundenseitig verwaltete Netzwerkanbindung an Azure verbinden, etwa über einen Azure-Proxy oder eine private Verbindung zwischen den Clouds. Von Azure aus erfolgt die Verbindung zu OpenAI dann über Azure Private Link.

Ändert Private Link die Authentifizierung?

Nein. Private Link ändert nur den Netzwerkpfad. Anfragen benötigen weiterhin die übliche Authentifizierung und Autorisierung für die OpenAI API.

Unterstützt Private Link jede OpenAI API?

Nein. Die Unterstützung hängt davon ab, ob eine API auf jedem Backend-Cluster der ausgewählten regionalen Anbindung verfügbar ist. Nutze die Kompatibilitätsmatrix als Ausgangspunkt und teste anschließend alle benötigten API-Funktionen und Modelle in jeder Zielregion.