GPT-Live führt das Gespräch, während ein Agent im Backend Informationen abruft, Tools nutzt und Aufgaben erledigt. GPT-Live kann gleichzeitig sprechen und zuhören (Vollduplex). Die Übergabe einer Aufgabe an das Backend heißt Delegation.
Zum Beispiel kann jemand nach einer Bestellung fragen und noch ein Detail ergänzen, während das Backend den Bestellstatus prüft. GPT-Live kann das Gespräch fortsetzen und das Ergebnis erläutern, sobald es vorliegt. Das Modell oder den Agenten für das Backend wählst du unabhängig vom Modell für die Sprachinteraktion.
Wie GPT-Live und das Backend zusammenarbeiten
- GPT-Live führt das Gespräch. Es hört zu, spricht und entscheidet, wann es das Backend um Hilfe bittet. Gib in einem kurzen Prompt vor, wie GPT-Live das Gespräch führen und wann es Aufgaben delegieren soll.
- Das Backend übernimmt delegierte Aufgaben. Bei der Responses-Delegation verwendest du ein unterstütztes Responses-Modell. Bei der Client-Delegation kannst du jedes Modell, jeden Agenten-Harness oder jeden Dienst anbinden, den deine Anwendung ausführt. Das Backend analysiert die Aufgabe, nutzt Tools und gibt die Ergebnisse an GPT-Live zurück, das sie im Gespräch vermittelt. Hinterlege detaillierte Anweisungen, Geschäftsregeln und Abläufe für die Tool-Nutzung im Backend.
Deine Anwendung prüft Berechtigungen, holt erforderliche Bestätigungen ein, führt Funktionen aus, die auf deine Systeme zugreifen, und speichert den Fortschritt der Aufgaben. Wenn die anrufende Person den Assistenten unterbricht, kann das Backend weiterarbeiten. Deine Anwendung entscheidet, ob das Backend die Aufgabe abschließen oder abbrechen soll. Der Leitfaden Sprachagenten vergleicht GPT-Live mit Realtime und mit Sprachanwendungen, die mehrere Verarbeitungsschritte verketten.
Betriebsart für das Backend wählen
Starte mit der Responses-Delegation, damit OpenAI das Backend-Modell ausführt und den Gesprächskontext sowie die Ergebnisse zwischen dem Modell und GPT-Live übermittelt. Deine eigenen Funktionstools führt weiterhin deine Anwendung aus. Wähle die Client-Delegation, wenn du einen vorhandenen Agenten anbinden oder selbst steuern möchtest, welchen Kontext das Backend erhält, wie es Aufgaben ausführt und welche Ergebnisse es zurückgibt.
Der Abschnitt Delegationsmodus wählen vergleicht die Modi und beschreibt ihre Konfiguration. Wähle den Modus beim Erstellen der Sitzung. Wenn du den Modus wechseln möchtest, starte eine neue Sitzung.
Verbindung für die erste Sitzung herstellen
Beginne mit dem WebRTC-Schnellstart für GPT-Live. Das Beispiel für Browser und Server bindet das Mikrofon und die Lautsprecherausgabe an und nutzt ein Responses-Backend, das das Web durchsuchen kann.
Du brauchst ein Mikrofon, eine Webseite, die über HTTPS oder localhost bereitgestellt wird, und einen vertrauenswürdigen Server mit einem API-Schlüssel für dein OpenAI-Projekt. Bewahre den Schlüssel auf dem Server auf.
- Schreibe einen kurzen Gesprächsprompt, der GPT-Live vorgibt, wann es das Backend um Hilfe bitten soll.
- Folge dem Schnellstart, um im Browser das Mikrofon, die Audiowiedergabe und den Ereigniskanal anzubinden. Dein Server erstellt die Sitzung, übermittelt das Verbindungsangebot des Browsers und erhält darauf eine Antwort.
- Warte auf
session.started. Sprich dann und höre dir die Antwort an. Stelle eine Frage, für deren Beantwortung aktuelle Informationen nötig sind, um die Websuche im Backend auszuprobieren. - Beende das Gespräch und schließe die Sitzung, um die abschließenden Nutzungsdaten zu erfassen und die Verbindung freizugeben.
Höre dir beim ersten Test die Antwort des Assistenten an und prüfe, ob sie das Suchergebnis des Backends wiedergibt.
Sprachsitzungen mit GPT-Live werden nach Dauer sekundengenau abgerechnet. Den aktuellen Preis findest du in der Preisübersicht für das Modell. Die Nutzung des Backend-Modells und der Tools wird separat abgerechnet. Der Leitfaden zur Kostenoptimierung erklärt, wie die Nutzung erfasst wird und wie du Kosten senken kannst.
Beispiel-Apps und Client-SDKs
- OpenAI Live Console ist eine lokale Beispiel-App, mit der du Gespräche mit GPT-Live und die Delegation von Aufgaben ausprobieren und die Tool-Nutzung im Backend verfolgen kannst.
- Switchboard OpenAI Live Toolkit ist ein React-Native-SDK eines Drittanbieters, mit dem du GPT-Live-Anwendungen für iOS entwickeln kannst.
Verbindung wählen
- WebRTC ist die empfohlene Option für Audioverbindungen in Browser-, Mobil- und Serveranwendungen. WebRTC überträgt Audio über Medienspuren und JSON-Ereignisse über einen Datenkanal.
- WebSockets sind eine unterstützte Alternative. Eine einzige Verbindung überträgt Audio und Steuerungsereignisse.
- Telefonie und SIP ermöglichen die Anbindung von Telefonanrufen.
Wenn du eine bestehende Sitzung von deinem Backend aus überwachen oder steuern möchtest, füge eine serverseitige Verbindung hinzu. Diese zusätzliche WebSocket-Verbindung heißt Sideband. Die Audioübertragung läuft weiterhin über die Hauptverbindung der Sitzung.
Partnerintegrationen
Wenn deine Anwendung bereits LiveKit, Twilio, Telnyx, Bandwidth oder Daily/Pipecat nutzt, folge den Anweisungen in der Übersicht zu Partnerintegrationen, um bestehende Anrufe oder Audiostreams deiner Anwendung mit GPT-Live zu verbinden.
Nächste Schritte
- Lege fest, wie GPT-Live Gespräche führt und Aufgaben delegiert. Mehr dazu erfährst du in Prompts für GPT-Live.
- Wie du Tools anbindest und die Latenz im Backend verringerst, erfährst du in Delegation und Tools.
- Wie du den Kontext, die Transkripte und den Lebenszyklus einer Sitzung verwaltest, erfährst du in Sitzungen verwalten.
- Wähle mithilfe des Leitfadens Zu GPT-Live migrieren einen Migrationsweg für deinen Realtime-Agenten oder textbasierten Agenten.
- Prüfe anhand des Leitfadens Sprachagenten evaluieren, wie Gespräche verlaufen und welche Ergebnisse die Aufgaben liefern.