Wir haben kürzlich angekündigt, dass unser neuestes Speech-to-Speech-Modell gpt-realtime und die Realtime API allgemein verfügbar sind. Dazu kommen zahlreiche neue API-Funktionen. Mit der allgemeinen Verfügbarkeit (GA) der Realtime API und des Speech-to-Speech-Modells (s2s) haben wir die Modellqualität und die Zuverlässigkeit deutlich verbessert und die Entwicklung mit der API vereinfacht.
Alle neuen API-Funktionen findest du in der Dokumentation und der API-Referenz. Hier greifen wir einige Funktionen heraus, die leicht zu übersehen sind, und erklären, wann sich ihr Einsatz lohnt. Wenn du die Realtime API in deine Anwendung integrierst, helfen dir diese Hinweise hoffentlich weiter.
Verbesserungen am Modell
Das neue Modell bringt mehrere Verbesserungen für Sprach-Apps im Produktivbetrieb mit. In diesem Beitrag geht es vor allem um die Änderungen an der API. Wenn du besser verstehen möchtest, wie das Modell funktioniert und wie du es einsetzt, empfehlen wir dir den Blogbeitrag zur Veröffentlichung und den Leitfaden zu Prompts für Echtzeitmodelle. Auf einige Besonderheiten gehen wir hier ein.
Für die Arbeit mit dem Modell empfehlen wir dir Folgendes:
- Probiere im Realtime Playground verschiedene Prompts aus.
- Mit
marinodercedarerzielst du die beste Qualität für die Stimme deines Assistenten. - Überarbeite deine Prompts für das neue Modell. Es befolgt Anweisungen genauer, sodass konkrete Vorgaben jetzt deutlich mehr Wirkung haben.
- Einen Prompt wie „Sag immer X, wenn Y eintritt“ hat das alte Modell möglicherweise als unverbindlichen Hinweis verstanden. Das neue Modell hält sich unter Umständen auch in Situationen daran, in denen du es nicht erwartest.
- Achte genau darauf, welche Anweisungen du gibst. Geh davon aus, dass das Modell sie befolgt.
Änderungen an der API-Schnittstelle
Mit dem GA-Release haben wir die Schnittstelle der Realtime API überarbeitet. Es gibt jetzt eine Beta- und eine GA-Schnittstelle. Wir empfehlen, Clients auf die GA-Schnittstelle umzustellen. Sie bietet neue Funktionen, und die Beta-Schnittstelle wird zu einem späteren Zeitpunkt als veraltet gekennzeichnet.
Alle für die Umstellung erforderlichen Änderungen findest du in der Dokumentation zur Migration von Beta auf GA.
Du kannst das neue Modell gpt-realtime auch über die Beta-Schnittstelle nutzen. Einige Funktionen werden dort möglicherweise nicht unterstützt. Einzelheiten findest du im folgenden Abschnitt.
Verfügbarkeit der Funktionen
Die GA-Version der Realtime API enthält mehrere neue Funktionen. Einige davon stehen auch für ältere Modelle zur Verfügung.
| Funktion | GA-Modell | Beta-Modell |
|---|---|---|
| Bildeingabe | ✅ | ❌ |
| Großes Kontextfenster | ✅ | ✅ |
| Asynchrone Funktionsaufrufe | ✅ | ❌ |
| Prompts | ✅ | ✅ |
| MCP | ✅ Am besten mit asynchronen Funktionsaufrufen | ✅ Ohne asynchrone Funktionsaufrufe eingeschränkt* |
| Audio-Token → Text | ✅ | ❌ |
| Datenresidenz in der EU | ✅ | ✅ Nur 06-03 |
| SIP | ✅ | ✅ |
| Timeouts bei Inaktivität | ✅ | ✅ |
*Das Beta-Modell unterstützt keine asynchronen Funktionsaufrufe. Deshalb verarbeitet es ausstehende MCP-Tool-Aufrufe, für die noch kein Ergebnis vorliegt, möglicherweise nicht richtig. Für MCP empfehlen wir das GA-Modell.
Änderungen an der Temperatur
In der GA-Schnittstelle entfällt der Modellparameter temperature. In der Beta-Schnittstelle ist die Temperatur auf den Bereich 0.6 - 1.2 begrenzt. Der Standardwert ist 0.8.
Vielleicht fragst du dich: „Warum kann ich die Temperatur nicht frei wählen, etwa um die Antwort deterministischer zu machen?“ Bei dieser Modellarchitektur wirkt sich die Temperatur anders aus. In fast allen Fällen erzielst du mit dem empfohlenen Wert 0.8 die besten Ergebnisse.
Nach unseren Beobachtungen lassen sich mit niedrigen Temperaturen keine deterministischen Audioantworten erzielen. Höhere Temperaturen führen zu hörbaren Störungen. Wenn du beeinflussen möchtest, wie vorhersehbar die Antworten sind und wie sie klingen, empfehlen wir dir, verschiedene Prompts auszuprobieren.
Neue Funktionen
Neben den Änderungen beim Übergang von Beta zu GA haben wir die Realtime API um mehrere Funktionen erweitert.
Alle Funktionen sind in der Dokumentation und der API-Referenz beschrieben. Hier erklären wir, worauf du bei der Integration und bei der Migration achten solltest.
Timeouts bei Gesprächspausen
In manchen Anwendungen ist es ungewöhnlich, wenn längere Zeit keine Spracheingabe kommt. Denk an ein Telefonat: Wenn du am anderen Ende nichts mehr hörst, fragst du nach, ob die andere Person noch da ist. Vielleicht hat das Modell eine Äußerung überhört. Vielleicht ist sich die Person auch unsicher, ob das Modell noch spricht. Mit einer neuen Funktion kannst du das Modell in solchen Fällen automatisch nachfragen lassen, etwa mit „Bist du noch da?“
Um die Funktion zu aktivieren, setze idle_timeout_ms in den server_vad-Einstellungen für die Erkennung von Sprecherwechseln. Die Wartezeit beginnt, sobald die letzte Audioantwort des Modells vollständig abgespielt wurde. Der Timeout-Zeitpunkt ergibt sich also aus dem Zeitpunkt von response.done zuzüglich der Wiedergabedauer und der eingestellten Wartezeit. Erkennt die Sprachaktivitätserkennung (VAD) in dieser Zeit keine Sprache, wird der Timeout ausgelöst.
Beim Timeout sendet der Server ein Ereignis vom Typ input_audio_buffer.timeout_triggered. Dadurch wird das leere Audiosegment in den Gesprächsverlauf aufgenommen und eine Modellantwort ausgelöst. Anhand des Segments kann das Modell prüfen, ob in diesem Zeitraum doch jemand gesprochen hat und die VAD die Äußerung übersehen hat.
So aktiviert ein Client die Funktion:
{
"type": "session.update",
"session": {
"type": "realtime",
"instructions": "You are a helpful assistant.",
"audio": {
"input": {
"turn_detection": {
"type": "server_vad",
"idle_timeout_ms": 6000
}
}
}
}
}
Lange Gespräche und Umgang mit dem Kontext
Wir haben angepasst, wie die Realtime API lange Sitzungen verarbeitet. Dabei solltest du Folgendes beachten:
- Echtzeitsitzungen können jetzt bis zu 60 Minuten dauern. Bisher waren es 30 Minuten.
- Das Modell
gpt-realtimehat ein Kontextfenster von 32.768 Token. Eine Antwort kann bis zu 4.096 Token umfassen. Für die Eingabe bleiben damit maximal 28.672 Token. - Sitzungsanweisungen und Tools dürfen zusammen höchstens 16.384 Token umfassen.
- Sobald die Sitzung 28.672 Token erreicht, kürzt der Dienst den Verlauf automatisch, indem er Nachrichten entfernt. Dieses Verhalten lässt sich konfigurieren.
- Liegt ein Transkript vor, entfernt der GA-Dienst automatisch einen Teil der Audio-Token, um Token zu sparen.
Kürzung des Gesprächsverlaufs konfigurieren
Sobald das Kontextfenster das Token-Limit erreicht, entfernt die Realtime API automatisch Nachrichten vom Anfang der Sitzung, also die ältesten Nachrichten. Mit "truncation": "disabled" kannst du dieses Verhalten deaktivieren. Dann gibt die API einen Fehler zurück, wenn für eine Antwort zu viele Eingabe-Token vorliegen. Das automatische Kürzen hat den Vorteil, dass die Sitzung auch dann weiterläuft, wenn die Eingabe für das Modell zu groß wird. Für entfernte Nachrichten bietet die Realtime API weder eine Zusammenfassung noch eine Kontextverdichtung. Beides kannst du selbst implementieren.
Das Kürzen hat einen Nachteil: Ändert sich der Gesprächsanfang, kann das Prompt-Caching die zuvor gespeicherten Token ab der ersten Änderung nicht mehr nutzen. Beim Prompt-Caching erkennt die API, welche Inhalte am Anfang deiner Prompts exakt übereinstimmen. Bei jedem weiteren Gesprächsbeitrag kann sie die Token dieses unveränderten Abschnitts aus dem Cache wiederverwenden. Ändert sich durch das Kürzen der Gesprächsanfang, lassen sich entsprechend weniger Token wiederverwenden.
Um diesen Effekt abzumildern, kannst du die API bei jeder Kürzung mehr Kontext entfernen lassen als unbedingt nötig. Setze den Anteil, der erhalten bleiben soll, auf 0.8. Dann entfernt die API 20 % des Kontextfensters, statt gerade so viele Token zu entfernen, dass die Eingabe unter dem Limit bleibt. Die API entfernt also mehr Kontext auf einmal, statt bei jedem Gesprächsbeitrag ein wenig zu kürzen. Dadurch verliert der Cache seltener seine Gültigkeit. Bei langen Sitzungen, die das Eingabelimit erreichen, kann das die Kosten senken.
{
"type": "session.update",
"session": {
"truncation": {
"type": "retention_ratio",
"retention_ratio": 0.8
}
}
}
Asynchrone Funktionsaufrufe
Die Responses API verlangt unmittelbar nach einem Funktionsaufruf eine Antwort der Funktion. Mit der Realtime API können Clients die Sitzung fortsetzen, während sie auf die Antwort warten. So läuft das Gespräch in Echtzeit ohne Unterbrechung weiter. Allerdings kommt es vor, dass das Modell den Inhalt einer noch gar nicht vorliegenden Funktionsantwort erfindet.
Um dieses Problem zu entschärfen, fügt die GA-Version der Responses API Platzhalterantworten ein. Wir haben deren Inhalt in Experimenten geprüft und so angepasst, dass das Modell auch während der Wartezeit angemessen reagiert. Wenn du das Modell nach dem Ergebnis eines Funktionsaufrufs fragst, antwortet es zum Beispiel mit „Ich warte noch auf das Ergebnis.“ Bei neuen Modellen ist diese Funktion automatisch aktiv. Du musst dafür nichts ändern.
Datenresidenz in der EU
Datenresidenz in der EU wird jetzt für die Modelle gpt-realtime-2025-08-28 und gpt-4o-realtime-preview-2025-06-03 unterstützt. Dazu muss die Datenresidenz für deine Organisation ausdrücklich aktiviert sein und der Zugriff über https://eu.api.openai.com erfolgen.
Tracing
Die Realtime API zeichnet wichtige Ereignisse während einer Echtzeitsitzung als Traces in der Entwicklungskonsole auf. Diese Aufzeichnungen können bei der Untersuchung von Problemen und beim Debugging helfen. Mit dem GA-Release sind neue Ereignistypen hinzugekommen:
- Sitzung aktualisiert (wenn der Server
session.updated-Ereignisse an den Client sendet) - Ausgabetext generiert (für Text, den das Modell erzeugt)
Gehostete Prompts
Du kannst jetzt Prompts mit der Realtime API verwenden. So kann dein Anwendungscode auf einen Prompt verweisen, den du separat bearbeiten kannst. Prompts enthalten sowohl Anweisungen als auch die Sitzungskonfiguration, etwa die Einstellungen zur Erkennung von Sprecherwechseln.
Im Realtime Playground kannst du einen Prompt erstellen, ihn schrittweise überarbeiten und bei Bedarf neue Versionen anlegen. Anschließend kann ein Client über die ID auf den Prompt verweisen:
{
"type": "session.update",
"session": {
"type": "realtime",
"prompt": {
"id": "pmpt_123", // your stored prompt ID
"version": "89", // optional: pin a specific version
"variables": {
"city": "Paris" // example variable used by your prompt
}
},
// You can still set direct session fields; these override prompt fields if they overlap:
"instructions": "Speak clearly and briefly. Confirm understanding before taking actions."
}
}
Wenn du eine Einstellung wie im Beispiel sowohl im Prompt als auch direkt in der Sitzungskonfiguration angibst, hat der Wert aus der Sitzungskonfiguration Vorrang. Ein Client kann also die Einstellungen des Prompts übernehmen oder sie für die jeweilige Sitzung überschreiben.
Sideband-Verbindungen
Mit der Realtime API können Clients über WebRTC oder SIP direkt eine Verbindung zum API-Server herstellen. Tool-Aufrufe und andere Geschäftslogik führst du in der Regel auf deinem Anwendungsserver aus. So bleibt die Logik vertraulich und unabhängig vom jeweiligen Client.
Über einen separaten Steuerkanal kannst du Tool-Aufrufe, Geschäftslogik und weitere Implementierungsdetails auf dem Server schützen. Solche Sideband-Verbindungen stehen jetzt sowohl für SIP als auch für WebRTC zur Verfügung.
Mit einer Sideband-Verbindung bestehen zwei aktive Verbindungen zur selben Echtzeitsitzung. Eine geht vom Client der Person aus, die deine Anwendung nutzt, die andere von deinem Anwendungsserver. Über die Serververbindung kannst du die Sitzung überwachen, Anweisungen aktualisieren und auf Tool-Aufrufe antworten.
Weitere Informationen findest du in der Dokumentation zu Sideband-Verbindungen.
Mit der Entwicklung beginnen
Wir hoffen, dass du jetzt besser einschätzen kannst, was sich mit der allgemein verfügbaren Realtime API und den neuen Echtzeitmodellen geändert hat.
In der Dokumentation zur Realtime API erfährst du, wie du einen Sprachagenten entwickelst, eine Verbindung herstellst oder deine ersten Prompts für Echtzeitmodelle schreibst.