Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Audio und Sprache

Nutze GPT-Live für Sprachdialoge oder wähle eine passende API für andere Audioaufgaben.

Wenn du eine neue Anwendung für Sprachdialoge entwickelst, starte mit GPT-Live. GPT-Live kann beim Sprechen zuhören und das Gespräch fortführen, während ein Backend-Agent nachdenkt, Tools nutzt oder eine Aufgabe erledigt.

Stelle mit der WebRTC-Kurzanleitung die Verbindung für dein erstes Gespräch her. Schreibe anschließend einen kurzen Prompt für GPT-Live. Wenn du bereits eine Realtime-Anwendung oder einen Textagenten hast, folge der Anleitung zur Migration zu GPT-Live.

Einen anderen Audio-Workflow wählen

Nutze die Realtime API, wenn du ihr Modell für Sitzungen und Tools brauchst. Für Transkription, Übersetzung oder Sprachsynthese ohne Dialogagenten wählst du die passende spezialisierte API aus der Tabelle.

Was du entwickeln oder erstellen möchtest Einstieg Was du steuerst
Einen Speech-to-Speech-Agenten mit dem Sitzungs- und Toolmodell von Realtime Realtime API Gesprächsbeiträge per Audio, Sitzungszustand, Tools und Unterbrechungen.
Eine Sprachschnittstelle für einen bestehenden Textagenten Sprachagenten Zuerst die Spracherkennung, dann den Workflow des Textagenten und schließlich die Sprachsynthese.
Ein Transkript einer Audiodatei Audiodateien transkribieren Datei-Uploads, einzelne abgeschlossene Anfragen und unterstützte Transkriptformate.
Live-Untertitel ohne Sprachausgabe des Assistenten Live-Transkription Audiostreaming und Ereignisse, die das Transkript schrittweise ergänzen.
Fortlaufende Übersetzung gesprochener Sprache Live-Übersetzung Eine eigene Übersetzungssitzung ohne den Wechsel von Gesprächsbeiträgen bei einem Sprachagenten.
Einen gesprochenen Kommentar oder synthetisch erzeugte Sprache Sprachsynthese Text, Stimme und Ausgabeformat.
Audioein- oder -ausgabe in einer bestehenden Chat-App Audio in Chat Completions Einzelne abgeschlossene multimodale Chat-Anfragen.

Sprachanwendungen entwickeln

Vergleiche die Architekturen mithilfe des Leitfadens zu Sprachagenten. Beginne mit dem Prompting-Leitfaden für GPT-Live oder Realtime. Nutze anschließend die gemeinsamen Leitfäden zu benutzerdefinierten Stimmen, zur Evaluierung und zur Kostenoptimierung. Jeder Leitfaden erläutert, wo sich das Verhalten je nach Modell oder API unterscheidet.

Eine Verbindung wählen

Für Audio im Browser starte mit WebRTC. Für serverseitige Audio-Pipelines nutze WebSockets. Informationen zu Telefonanrufen findest du im Leitfaden zu Telefonie und SIP. Über eine serverseitige Steuerverbindung kann ein vertrauenswürdiges Backend eine Mediensitzung beobachten und steuern.

Wähle auf jeder Seite zum jeweiligen Verbindungstyp deine API aus. Auch wenn GPT-Live und Realtime dasselbe Transportprotokoll nutzen, sind ihre Handshakes, Zugangsdaten und Ereignisformate nicht austauschbar. Im jeweiligen Verbindungsleitfaden findest du die Voraussetzungen und erfährst, wie du die Verbindung einrichtest.

Audio in deine bestehende Anwendung integrieren

Die Beispiele für Chat Completions findest du jetzt im Leitfaden Audio in Chat Completions. Für deinen ersten Sprachagenten im Browser nutze die WebRTC-Kurzanleitung für GPT-Live.