Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Prompts für Realtime-Modelle

Entwirf und teste Prompts für Realtime-Sprachmodelle.

Wähle das Realtime-Modell aus, mit dem du deine Anwendung entwickelst. Für GPT-Live nutze den Leitfaden Prompts für GPT-Live.

gpt-realtime-2 ist unser fortschrittlichstes Sprachmodell mit Reasoning für Speech-to-Speech-Anwendungen mit geringer Latenz. Es kann vor dem Sprechen nachdenken, Anweisungen zuverlässiger befolgen, ein größeres Kontextfenster nutzen und Tools präziser aufrufen als frühere Realtime-Modelle.

Um diese Verbesserungen zu nutzen, formuliere deine Prompts gezielt. Lege ausdrücklich fest, wofür der Assistent zuständig ist, wann er Entscheidungen trifft, wie er Tools aufruft und welche Grenzen gelten. Beschreibe, was er wann tun und was er vermeiden soll.

Beginne mit einem möglichst einfachen Prompt. Prüfe sein Verhalten in Evaluationen und ergänze nur dort Anweisungen, wo die Tests ein Problem zeigen.

Modell auswählen

ModellWann es sich eignetWorauf es beim Prompt ankommt
gpt-realtime-2

Du brauchst die beste Leistung beim Reasoning in Echtzeit, beim Einsatz von Tools und beim Befolgen von Anweisungen.

Stimme den Reasoning-Aufwand, gesprochene Zwischenmeldungen, Regeln für Tools, die exakte Erfassung von Angaben und die Verwaltung des Sitzungsstands bei langen Gesprächen auf deine Anwendung ab.

gpt-realtime-1.5Du brauchst ein schnelles, zuverlässiges Speech-to-Speech-Modell ohne Reasoning.

Nutze die grundlegende Prompt-Struktur für Realtime und teste das Verhalten in Situationen, in denen die Latenz entscheidend ist.

Prompt-Leitfaden für Realtime 2.0

Verwende gpt-realtime-2, wenn dein Sprachagent leistungsfähigeres Reasoning braucht, Tools gezielt auswählen, Angaben exakt verarbeiten oder den Stand langer Sitzungen nachhalten muss. Beginne mit reasoning.effort: “low”, teste das Standardverhalten bei Zwischenmeldungen und lege klar fest, welche Schreibaktionen eine vorherige Bestätigung erfordern.

Was sich mit Realtime 2 geändert hat

Berücksichtige beim Schreiben von Prompts, dass Realtime 2 ein Sprachagent mit Reasoning ist und mehr leisten kann als ein einfacher Sprachbot.

Änderung Bedeutung für Prompts
Reasoning Gib dem Modell bei komplexen Aufgaben Zeit für internes Reasoning, bevor es spricht oder Tools aufruft. Nutze Zwischenmeldungen, um unangenehme Pausen und überflüssige Floskeln zu vermeiden.
Präzise Prompts sind wichtiger Ersetze allgemeine Vorgaben wie „Sei hilfreich“ durch klare Regeln für Auslöser, Aktionen und Ausnahmen. Lege fest, wann das Modell handeln soll, was es tun soll und wann die Regel nicht gilt.
Widersprüche fallen stärker ins Gewicht Entferne sich überschneidende Regeln mit always, never, only und must, sofern sie nicht zwingend erforderlich sind. Lege bei konkurrierenden Regeln fest, welche Vorrang hat.
Der Einsatz von Tools lässt sich gezielter steuern Beschreibe, wann der Assistent sofort handeln, fehlende Informationen erfragen, exakte Angaben bestätigen lassen, einen fehlgeschlagenen Aufruf wiederholen oder eskalieren soll.
Zwischenmeldungen lassen sich ausdrücklich steuern Vor längerem Reasoning oder einer Folge von Tool-Aufrufen kann das Modell kurz sagen, was es tut. Lege fest, wann eine Zwischenmeldung angebracht ist, wie kurz sie sein soll und wann sie entfallen soll.
Größeres Kontextfenster gpt-realtime-2 erweitert das Realtime-Kontextfenster von 32.000 auf 128.000 Token und eignet sich damit besser für lange Sitzungen und umfangreichere System-Prompts.

Zwischenmeldungen geben keine verborgene Gedankenkette wieder. Es sind kurze gesprochene Hinweise wie „Ich prüfe jetzt deine Bestellung.“ Fordere das Modell nicht auf, sein internes Reasoning offenzulegen.

Empfohlene Prompt-Struktur

Gliedere deinen Prompt in kurze Abschnitte mit aussagekräftigen Überschriften. Das Modell sollte die jeweils relevanten Anweisungen schnell finden können.

# Rolle und Ziel

# Persönlichkeit und Tonfall

# Sprache

# Reasoning

# Nachrichtenkanäle

# Zwischenmeldungen

# Antwortlänge

# Tools

# Unverständliche Audioeingaben

# Exakte Angaben erfassen

# Umgang mit umfangreichem Kontext

# Eskalation

Nicht jeder Anwendungsfall erfordert alle Abschnitte. Nimm die Abschnitte auf, die für dein Produkt relevant sind.

Reasoning-Aufwand festlegen

gpt-realtime-2 kann sich für gründlicheres Reasoning mehr Zeit nehmen. Wähle den niedrigsten Reasoning-Aufwand, mit dem der Assistent die Aufgaben im jeweiligen Ablauf noch bewältigen kann.

Beginne bei den meisten Sprachagenten im Produktivbetrieb mit low. Passe den Wert nach oben oder unten an. Entscheidend sind die Komplexität der Aufgabe, die akzeptable Latenz und die Kosten eines Fehlers.

Reasoning-Aufwand Wann er sich eignet Beispiele
minimal Die Aufgabe ist einfach und eine möglichst niedrige Latenz hat Vorrang. Smart-Home-Befehle, Timer, einfache Kalenderabfragen.
low Du brauchst schnelle Reaktionen und grundlegendes Reasoning. Kundensupport, Bestellabfragen, einfache Fragen zu Richtlinien.
medium Der Assistent muss Aufgaben in mehreren Schritten durchdenken. Technischer Support, Diagnose, komplexe Weiterleitung von Anliegen.
high Gründlicheres Reasoning erhöht die Erfolgsaussichten deutlich. Abläufe, die hohe Präzision erfordern, Entscheidungen über Eskalationen, Aufgaben mit Einschränkungen.
xhigh Maximales Reasoning rechtfertigt die zusätzliche Latenz und die höheren Kosten. Komplexe Planung, Triage in kritischen Fällen, Koordination von Tools bei folgenreichen Entscheidungen.

Gib zusätzlich zur API-Einstellung im Prompt vor, wann und wie gründlich das Modell nachdenken soll.

## Reasoning

- Antworte bei direkten Fragen, einfachen Abfragen und kurzen Bestätigungen zügig und ohne Reasoning.
- Denke bei mehrstufigen Aufgaben, Entscheidungen über Tool-Aufrufe, der Fehlersuche oder einer Eskalation nach, bevor du handelst.
- Verzichte bei unverständlicher Audioeingabe auf längeres Reasoning. Frage stattdessen nach.

Zwischenmeldungen gezielt einsetzen

Zwischenmeldungen sind kurze gesprochene Hinweise. Dadurch wirkt ein Sprachagent auch dann ansprechbar, wenn er nachdenkt, Informationen abfragt oder ein Tool aufruft. Gut eingesetzt signalisieren sie dem Gegenüber, dass der Assistent am Anliegen arbeitet. Überflüssige Zwischenmeldungen wirken wie Floskeln und lassen die Wartezeit länger erscheinen.

gpt-realtime-2 erzeugt standardmäßig Zwischenmeldungen. Teste zuerst das Standardverhalten. Wenn es nicht zum gewünschten Nutzungserlebnis passt, passe es mit ausdrücklichen Anweisungen an.

Zeitlicher Ablauf der Erzeugung und Wiedergabe einer Zwischenmeldung

## Zwischenmeldungen

Gib nur dann eine kurze Zwischenmeldung, wenn sie deinem Gegenüber zeigt, dass du das Anliegen bearbeitest.

### Wann eine Zwischenmeldung sinnvoll ist

Gib eine Zwischenmeldung, wenn:

- du gleich ein Tool aufrufst, das spürbar Zeit brauchen könnte,
- du eine Anfrage in mehreren Schritten durchdenken musst,
- du Datensätze, Verfügbarkeit, Kontostatus oder Einzelheiten einer Richtlinie prüfst,
- du eine Eskalation oder Übergabe vorbereitest,
- eine Pause den Eindruck erwecken würde, dass du nicht mehr reagierst.

Wenn eine Zwischenmeldung nötig ist, gib sie unmittelbar vor dem eigentlichen Reasoning oder dem Tool-Aufruf aus.

### Wann die Zwischenmeldung entfallen soll

Verzichte auf eine Zwischenmeldung, wenn:

- du sofort direkt antworten kannst,
- dein Gegenüber etwas lediglich bestätigt, korrigiert oder ablehnt,
- du die Audioeingabe nicht verstehst und nachfragen musst,
- die letzte Audioeingabe nur Stille, Hintergrundgeräusche, Wartemusik, Fernsehton oder ein Gespräch im Hintergrund enthält,
- der Tool-Aufruf wenig Zeit kostet und eine Zwischenmeldung deinem Gegenüber nichts bringt.

### Stil der Zwischenmeldung

Wenn du eine Zwischenmeldung gibst:

- sprich natürlich, ruhig und knapp,
- variiere deine Formulierungen im Gespräch,
- beschreibe die Aktion und behalte deine Überlegungen für dich,
- verzichte auf Floskeln.

Vermeide Formulierungen wie:

- „Lass mich nachdenken …“
- „Hmm …“
- „Einen Moment, während ich das verarbeite …“
- „Ich werde jetzt auf das Tool zugreifen …“

### Länge der Zwischenmeldung

Verwende einen kurzen Satz.

Beschränke dich auf höchstens zwei kurze Sätze, außer wenn dein Gegenüber vor einer folgenreichen Aktion eine Erklärung braucht.

### Gute Beispiele

- „Ich prüfe jetzt deine Bestellung.“
- „Ich sehe nach, was zu deinem Termin hinterlegt ist.“
- „Ich prüfe das, bevor wir etwas ändern.“
- „Ich schaue in der Richtlinie nach und sage dir dann, wie es weitergeht.“
- „Ich rufe das Konto auf, damit wir prüfen können, ob es das richtige ist.“

### Ungünstige Beispiele

- „Lass mich kurz darüber nachdenken.“
- „Bitte warte, während ich deine Anfrage bearbeite.“
- „Ich werde jetzt meine Tools verwenden.“
- „Interessante Frage. Ich werde sie gründlich durchdenken.“

Antwortlänge steuern

gpt-realtime-2 hält sich am besten an Längenvorgaben, wenn der Prompt für jede Aufgabenart angibt, wie ausführlich die Antwort sein soll. Erkläre, was „Fasse dich kurz“ im jeweiligen Kontext bedeutet. Direkte Antworten, Tool-Ergebnisse, Hilfestellung bei der Fehlersuche, Vergleiche und Eskalationen können unterschiedlich lange Antworten erfordern.

## Antwortlänge

- Direkte Antworten: Verwende ein bis zwei kurze Sätze.
- Rückfragen: Stelle jeweils nur eine Frage.
- Tool-Ergebnisse: Fasse zuerst das Ergebnis zusammen und nenne dann nur den nächsten sinnvollen Schritt.
- Vergleich von Produkten oder Optionen: Nenne die wichtigsten Unterschiede, Vor- und Nachteile und für wen sich jede Option eignet.
- Fehlersuche: Erkläre jeweils einen Schritt, außer wenn dein Gegenüber nach dem gesamten Ablauf fragt.
- Eskalationen: Erkläre kurz, warum die Eskalation nötig ist und was als Nächstes passiert.

Beispiel:

Frage: Welchen Plan soll ich wählen?

Assistent: Wenn du möglichst wenig bezahlen möchtest, wähle Basic. Wenn du Teamberechtigungen und eine gemeinsame Abrechnung brauchst, wähle Pro. Wenn dir Compliance-Prüfungen oder Administrationsfunktionen wichtig sind, wähle Enterprise.

Regeln für den Einsatz von Tools festlegen

gpt-realtime-2 ruft Tools zuverlässiger auf. Sein Verhalten hängt aber weiterhin vom Prompt und von der Tool-Spezifikation ab. Wenn der Prompt offenlässt, wann der Assistent handeln, nachfragen, eine Bestätigung einholen oder auf Fehler reagieren soll, ruft er Tools möglicherweise zu früh auf, stellt unnötige Fragen oder wiederholt erfolglose Aufrufe.

Festlegen, wie schnell der Assistent Tools aufrufen soll

Bei risikoarmen Aktionen ohne Schreibzugriff kann der Assistent Tools unmittelbar aufrufen. Mehr Zurückhaltung ist sinnvoll, wenn Tools Daten ändern, externe Aktionen auslösen oder auf exakte Kennungen angewiesen sind.

Tool-Typ Standardverhalten
Risikoarme Abfrage ohne Schreibzugriff Tool aufrufen, sobald das Anliegen klar ist und die erforderlichen Angaben eindeutig sind.
Abfrage ohne Schreibzugriff mit exakter Kennung Kennung vor der Abfrage bestätigen lassen.
Für Nutzende sichtbare Kommunikation Nachricht vor dem Senden entwerfen oder zusammenfassen.
Kontoänderungen Vor dem Aufruf eine Bestätigung einholen.
Käufe, Stornierungen, Zahlungen Betrag, Ziel und Auswirkung vor dem Aufruf bestätigen lassen.
Unumkehrbare oder folgenreiche Aktionen Ausdrückliche Bestätigung einholen und gegebenenfalls eine Eskalation anbieten.

Wenn deine Anwendung sowohl Lese- als auch Schreibaktionen ausführt, kannst du mit den folgenden Regeln beginnen. Passe sie an deinen Anwendungsfall an.

## Tools

Verwende ausschließlich Tools, die ausdrücklich in der aktuellen Tool-Liste stehen. Erfinde, simuliere oder benenne keine Tools um und setze ihre Verfügbarkeit nicht voraus.

Für Tools ohne Schreibzugriff:

- Rufe das Tool auf, wenn das Anliegen klar ist und alle erforderlichen Angaben vorliegen.
- Bitte nur um Bestätigung, wenn die Abfrage eine exakte Kennung erfordert oder ein erhebliches Risiko besteht, den falschen Datensatz zu verwenden.
- Frage nur nach, wenn eine erforderliche Angabe fehlt, mehrdeutig ist oder anderen Angaben widerspricht.

Für Tools mit Schreibzugriff oder externe Aktionen:

- Fasse die beabsichtigte Aktion vor dem Tool-Aufruf zusammen.
- Nenne die wichtigste Auswirkung, etwa was geändert, versendet, storniert, bestellt oder abgebucht wird.
- Bitte um Bestätigung.
- Rufe das Tool erst auf, wenn dein Gegenüber eindeutig zustimmt.

Für exakte Kennungen:

- Bei Bestell-IDs, Sendungsnummern, Kontonummern, Bestätigungscodes, Telefonnummern und E-Mail-Adressen kommt es auf jedes Zeichen an.
- Normalisiere die Eingabe nur, wenn der Feldtyp eindeutig ist.
- Lass den endgültigen Wert vor kontospezifischen Abfragen, Validierungen oder Schreibaktionen bestätigen.

Nach Tool-Aufrufen:

- Melde eine Aktion erst als abgeschlossen, wenn der Tool-Aufruf erfolgreich war.
- Schlägt der Aufruf fehl, erkläre kurz und ohne technische Rohmeldung, was passiert ist. Nenne einen klaren nächsten Schritt.

Beispiel für eine Aktion mit hohem Risiko:

Anfrage: Buche den offenen Betrag von meiner Karte ab.

Ungünstig:

Assistent: Ich habe deine Karte belastet.

Besser:

Assistent: Du möchtest den offenen Betrag von 248,16 USD mit deiner hinterlegten Karte bezahlen. Soll ich den Betrag abbuchen?

Auf fehlgeschlagene Tool-Aufrufe reagieren

Auch ein fehlgeschlagener Tool-Aufruf gehört zum Gespräch. Eine gute Antwort erklärt, was passiert ist und was das Gegenüber als Nächstes tun kann.

Die passende Reaktion hängt vom Tool, von der Art des Fehlers und von seinen Auswirkungen auf die Person ab. Bei manchen Fehlern genügt ein erneuter Versuch ohne Zwischenmeldung. In anderen Fällen muss der Assistent nachfragen, um die Korrektur einer Kennung oder die Bestätigung einer neuen Aktion bitten oder einen anderen Lösungsweg zur Wahl stellen.

## Fehlgeschlagene Tool-Aufrufe

Wenn ein Tool-Aufruf fehlschlägt:

1. Erkläre kurz und verständlich, was fehlgeschlagen ist.
2. Gib deinem Gegenüber nicht die Schuld und gib keine unbearbeiteten Fehlermeldungen des Tools aus.
3. Könnte der Fehler an einer Kennung liegen, lies den verwendeten Wert vor und bitte um Korrektur.
4. Könnte der Fehler vorübergehend sein, biete einen einmaligen neuen Versuch an.
5. Tritt derselbe Fehler wiederholt auf, biete einen anderen Lösungsweg oder eine Eskalation an.

Rufe nach einem Fehler nicht immer wieder dasselbe Tool mit denselben Argumenten auf.

Prüfe zuerst, ob du den Wert richtig erfasst hast, bevor du nach einer anderen Kennung fragst.

Ungünstig:

Assistent: Da ist etwas schiefgegangen.

Besser:

Assistent: Zu O R D Bindestrich 3 1 2 5 B 2 3 habe ich nichts gefunden. Habe ich ein Zeichen falsch verstanden?

Prompt und verfügbare Tools aufeinander abstimmen

Realtime-Modelle versuchen, Anliegen direkt zu erledigen. Erwähnt der Prompt ein Tool, das nicht verfügbar ist, oder stimmt die Tool-Liste nicht mit dem Prompt überein, erfindet das Modell möglicherweise einen Tool-Namen oder behauptet, die Aktion ausgeführt zu haben.

Verweist der Prompt beispielsweise auf lookup_order, während das bereitgestellte Tool search_orders heißt, kann das Modell den falschen Namen aufrufen oder die Aktion simulieren.

## Verfügbarkeit von Tools

Verwende ausschließlich Tools, die ausdrücklich in der aktuellen Tool-Liste stehen.

Erfinde oder simuliere keine Tools und setze ihre Verfügbarkeit nicht voraus. Wird ein Tool in den Anweisungen erwähnt, fehlt aber in der Tool-Liste, behandle es als nicht verfügbar.

Wenn dein Gegenüber eine Aktion anfordert, für die ein nicht verfügbares Tool nötig wäre:

1. Gib nicht vor, die Aktion ausgeführt zu haben.
2. Erkläre kurz, dass das Tool nicht verfügbar ist.
3. Biete den verfügbaren nächsten Schritt an, der dem Anliegen am nächsten kommt.

Melde eine Aktion erst als abgeschlossen, wenn der zugehörige Tool-Aufruf erfolgreich war.

Nutze den Meta-Prompt zur Prompt-Prüfung im Anhang, um Prompts für den Produktivbetrieb auf Widersprüche, fehlende Tools und Anweisungen zu prüfen, die bei kleinen Abweichungen versagen.

Mit Stille und Hintergrundgeräuschen umgehen

Sprachagenten antworten in der Regel von sich aus. Im Produktivbetrieb empfangen sie häufig Audiosignale, auf die sie nicht hörbar reagieren sollten. Dazu gehören Stille, Hintergrundgeräusche, Wartemusik, Fernsehton und Gespräche im Hintergrund.

Stelle ein Warte-Tool ohne weitere Funktion bereit, wenn der Assistent schweigen und weiter zuhören soll. Damit kann das Modell seinen Gesprächsbeitrag ohne Sprachausgabe beenden, anstatt etwas wie „Ich bin da“ oder „Das habe ich nicht verstanden“ zu sagen.

Tool-Definition:

{
  "name": "wait_for_user",
  "description": "Rufe dieses Tool auf, wenn die letzte Audioeingabe keine gesprochene Antwort erfordert, etwa bei Stille, Hintergrundgeräuschen, Wartemusik, Fernsehton, einem Gespräch im Hintergrund oder Äußerungen, die sich nicht an den Assistenten richten. Mit diesem Tool kannst du den Gesprächsbeitrag ohne gesprochene Antwort beenden.",
  "parameters": {
    "type": "object",
    "properties": {},
    "required": []
  }
}

Ergänze im Prompt passende Anweisungen:

## Umgang mit Stille und Hintergrundgeräuschen

Rufe `wait_for_user` auf, wenn die letzte Audioeingabe aus Stille, Hintergrundgeräuschen, Wartemusik, Fernsehton, einem Gespräch im Hintergrund oder einer Äußerung besteht, die sich nicht an dich richtet.

Gib nach diesem Tool-Aufruf keine gesprochene Antwort.

Sage weder „Ich bin da“ noch „Das habe ich nicht verstanden“, „Lass dir Zeit“ oder „Sag Bescheid, wenn du bereit bist“.

Antworte erst wieder normal, wenn dein Gegenüber dich eindeutig anspricht oder um Hilfe bittet.

Nutze das Tool für Audiosignale, die sich nicht an den Assistenten richten. Wenn sich jemand eindeutig an den Assistenten wendet, die Anfrage aber unverständlich ist, soll er nachfragen.

Nachrichtenkanäle gezielt nutzen

gpt-realtime-2 kann im Kanal commentary für Nutzende sichtbare Zwischenmeldungen ausgeben und im Kanal final die abschließende Antwort liefern. Gib kanalspezifische Anweisungen, wenn das gewünschte Verhalten davon abhängt, in welchem Kanal eine Nachricht erscheint.

Kanal Für Nutzende sichtbar? Verwendung
commentary Ja Zwischenmeldungen und Tool-Aufrufe.
final Ja Abschließende Nachricht an die Person.

Tool-Aufrufe erfolgen beispielsweise im Kanal commentary. Wenn der Assistent vor, während oder nach dem Einsatz eines Tools etwas sagen soll, beziehe die Anweisung ausdrücklich auf diesen Kanal.

Sag deinem Gegenüber kurz, was du tust, bevor du im Kanal commentary Tools aufrufst.

gpt-realtime-2 kann innerhalb eines Gesprächsbeitrags mehrere Antwortphasen ausgeben. In der API-Ausgabe bildet das Ereignis response.done diese Unterscheidung ab. Der enthaltene Wert phase gibt an, ob es sich um eine Zwischenmeldung oder die abschließende Antwort handelt.

Über dieses Feld kannst du die Phasen in deiner Anwendung unterschiedlich behandeln. Eine Zwischenmeldung kannst du zum Beispiel als kurzes Statusupdate abspielen oder anzeigen. final_answer kannst du der vollständigen Antwort des Assistenten vorbehalten.

response.output[0].phase: "commentary"
response.output[1].phase: "final_answer"

Mit unverständlichen Audioeingaben umgehen

Das Modell sollte nur auf Grundlage von Audioeingaben handeln, die es sicher versteht. Bei unklarer Spracheingabe sollte es kurz nachfragen, anstatt zu raten.

Gib vor, dass das Modell bei unverständlichem Audio weder fehlende Wörter ergänzt noch Tools aufruft, Angaben erfasst oder Zwischenmeldungen erzeugt. Es soll auch keine Zeit mit internem Reasoning darauf verwenden, das Gesagte zu rekonstruieren.

## Unverständliche Audioeingaben

- Antworte nur auf verständliche Audio- oder Texteingaben.
- Ist die Audioeingabe unverständlich, frage mit einem kurzen englischen Satz nach, etwa „Sorry, could you repeat that clearly?“.
- Verwende bei unverständlichem Audio nicht zweimal dieselbe Rückfrage.
- Behandle eine Audioeingabe als unklar, wenn sie mehrdeutig, verrauscht, stumm, unverständlich oder teilweise abgeschnitten ist oder wenn du dir über den genauen Wortlaut unsicher bist.
- Rate bei unklarem Audio nicht, was dein Gegenüber gemeint haben könnte.
- Verzichte bei unklarem Audio auf Reasoning.
- Gib bei unklarem Audio im Kanal commentary keine Zwischenmeldung aus und rufe dort keine Tools auf.

Beispiel:

Spracheingabe: „Prüf die Bestellung drei eins …“ [abgeschnitten]

Ungünstig:

Assistent: Ich prüfe jetzt die Bestellung 31.

Besser:

Assistent: Ich habe nur einen Teil der Bestellnummer gehört. Kannst du sie Ziffer für Ziffer wiederholen?

Angaben exakt erfassen

Viele Realtime-Abläufe sind auf exakte Angaben angewiesen. Dazu zählen Bestell-IDs, Sendungsnummern, E-Mail-Adressen, Bestätigungscodes, Kontonummern, Schadennummern, Ticket-IDs, Support-Referenznummern und Telefonnummern.

Im Gespräch ist die Erfassung schwierig. Menschen sprechen schnell, gruppieren Ziffern unterschiedlich, buchstabieren nur Teile einer Angabe, verwenden Füllwörter, korrigieren sich beim Sprechen oder nennen ähnlich klingende Zeichen. Schon eine falsche Ziffer kann dazu führen, dass eine Abfrage fehlschlägt oder das falsche Konto liefert.

Gehe bei der Erfassung vorsichtig vor. Frage jeweils nur einen Wert ab und normalisiere nur eindeutige Angaben. Lass Werte, bei denen es auf jedes Zeichen ankommt, vor Tool-Aufrufen bestätigen und gestalte den Ablauf so, dass jede Angabe korrigiert werden kann.

Angaben einzeln erfassen

Wenn ein Ablauf mehrere Werte erfordert, frage sie nacheinander ab. So verhinderst du gerade in Sprachgesprächen, dass Angaben für verschiedene Felder ineinander übergehen.

## Reihenfolge bei der Erfassung

Erfasse die erforderlichen Werte nacheinander.

- Frage nur nach dem nächsten fehlenden Wert.
- Frage nicht im selben Gesprächsbeitrag nach mehreren Werten.
- Prüfe vor jeder Rückfrage, ob der Wert im Gespräch oder in der Sitzung bereits genannt wurde.
- Liegt ein möglicher Wert vor, lass ihn bestätigen, bevor du ihn verwendest.

Beispiel:

„Du hast vorhin die Sendungsnummer ABC-54321 genannt. Soll ich diese verwenden oder hast du eine andere Sendungsnummer?“

Rufe Tools erst auf, wenn der aktuelle Wert erfasst, geprüft und bestätigt ist.

Buchstabierte Zeichen verarbeiten

Nutze die folgenden Anweisungen, wenn jemand IDs, Codes, Namen oder E-Mail-Adressen Zeichen für Zeichen diktiert. Die gesprochene Form dient als Eingabe. Aus ihr muss das Modell den eigentlichen Wert bilden.

## Einzeln diktierte Zeichen

Wenn jemand eine ID, einen Code oder eine E-Mail-Adresse Zeichen für Zeichen diktiert, fasse die Folge als einen zusammenhängenden Wert auf. Übernimm ausdrücklich genannte Trennzeichen wie Bindestrich, Punkt, Unterstrich, Schrägstrich oder Pluszeichen. Füge sonst weder Leerzeichen noch Trennzeichen ein.

Beispiele:

- „A B C eins zwei drei“ -> „ABC123“
- „B C Bindestrich neun acht sieben“ -> „BC-987“
- „J O H N ät example Punkt com“ -> „john@example.com“

Füge zwischen einzeln diktierten Zeichen nur dann Leerzeichen ein, wenn dein Gegenüber ausdrücklich sagt, dass der Wert Leerzeichen enthält.

Gesprochene Zahlen sorgfältig normalisieren

Bei numerischen Kennungen nennen Menschen Ziffern einzeln, in Gruppen oder als ganze Zahlen. Wenn das Feld eine durchgehende Ziffernfolge erwartet, wandle eindeutig gesprochene Zahlen in Ziffern um.

## Gesprochene Zahlen verarbeiten

Wandle gesprochene Zahlen beim Erfassen numerischer Kennungen in Ziffern um.

Beispiele:

- „eins zwei drei vier“ -> „1234“
- „eins dreiundzwanzig“ -> „123“
- „eins neunzehn“ -> „119“
- „neunundneunzig elf“ -> „9911“
- „neuntausendneunhundertelf“ -> „9911“

Sind mehrere Deutungen plausibel, frage nach, bevor du den Wert verwendest.

Beispiel:

„Ich habe entweder 119 oder 1-19 verstanden. Kannst du die Nummer Ziffer für Ziffer wiederholen?“

Exakte Kennungen vor Tool-Aufrufen bestätigen lassen

Bei Bestell-IDs, Sendungsnummern, Kontonummern, Schadennummern, Bestätigungscodes und ähnlichen Kennungen kommt es auf jedes Zeichen an. Lass sie bestätigen, bevor du sie in einem Tool-Aufruf verwendest.

Lies numerische Kennungen Ziffer für Ziffer vor. Wenn du den Wert als ganze Zahl vorliest, können Fehler unbemerkt bleiben.

Beispiel:

Assistent: Zur Bestätigung: Ich habe 8 … 3 … 5 … 2 … 1 verstanden. Stimmt das?

Wenn dein Gegenüber ein Zeichen oder eine Ziffer korrigiert, wiederhole vor dem Tool-Aufruf den vollständigen korrigierten Wert.

Beispiel:

Assistent: Verstanden. Ich habe jetzt 8 … 3 … 5 … 7 … 1. Stimmt das?

## Exakte Kennungen bestätigen lassen

Bevor du Tools mit Kennungen aufrufst, bei denen es auf jedes Zeichen ankommt:

- Lass den endgültigen normalisierten Wert bestätigen.
- Lies numerische Kennungen Ziffer für Ziffer vor.
- Verwende keine geratenen, unvollständigen oder mehrdeutigen Werte.
- Korrigiert dein Gegenüber den Wert, wiederhole vor dem Tool-Aufruf den vollständigen korrigierten Wert.

E-Mail-Adressen Zeichen für Zeichen bestätigen lassen

Bei E-Mail-Adressen ist Genauigkeit entscheidend. Punkte, Bindestriche, Unterstriche, doppelte Buchstaben und ähnlich klingende Namen können dazu führen, dass ein Konto nicht gefunden wird oder Nachrichten an die falsche Adresse gehen.

Bitte dein Gegenüber, die E-Mail-Adresse zu buchstabieren:

Assistent: Kannst du mir die E-Mail-Adresse Zeichen für Zeichen nennen, damit ich sie richtig aufnehme?

Lies die endgültige Adresse exakt vor und lass sie bestätigen:

Assistent: Zur Bestätigung: c-h-e-n ät example Punkt com, richtig?

## E-Mail-Adresse bestätigen lassen

Erfasse E-Mail-Adressen exakt.

Nennt jemand eine E-Mail-Adresse, ohne sie zu buchstabieren, bitte darum, sie Zeichen für Zeichen zu wiederholen.

Beispiel:

„Kannst du mir die E-Mail-Adresse Zeichen für Zeichen nennen, damit ich sie richtig aufnehme?“

Lies die endgültige E-Mail-Adresse exakt vor und lass sie bestätigen.

Beispiel:

„Zur Bestätigung: c-h-e-n ät example Punkt com, richtig?“

Ablauf zur Erfassung exakter Angaben

Fallstricke bei wörtlich befolgten Anweisungen vermeiden

gpt-realtime-2 hält sich stärker an den Wortlaut von Anweisungen als frühere Realtime-Modelle. Prompts, die mit älteren Modellen gut funktioniert haben, musst du möglicherweise anpassen.

Formuliere präzise. Das Modell kann dem genauen Wortlaut einer Anweisung mehr Gewicht geben als dem Verhalten, das du eigentlich erreichen wolltest. Pauschale oder starre Regeln können das Verhalten des Assistenten unerwartet stark bestimmen, besonders wenn mehrere Regeln ineinandergreifen.

Verwende verbindliche Formulierungen wie must, only, never und always mit Bedacht. Setze sie ein, wenn das Verhalten tatsächlich zwingend erforderlich ist. Als bloße Hervorhebung eignen sie sich nicht. Zu viele strikte Vorgaben können dazu führen, dass der Assistent starr oder übervorsichtig reagiert und sinnvolle Ausnahmen nicht mehr zulässt.

Grenze den Geltungsbereich möglichst genau ein:

Bitte bei Schreibaktionen, die Nutzerdaten ändern, vor dem Tool-Aufruf um Bestätigung.

Vermeide pauschale Vorgaben:

Bitte immer um Bestätigung, bevor du irgendetwas tust.

Die pauschale Variante kann zu unnötigen Rückfragen bei unkritischen Abfragen ohne Schreibzugriff führen, etwa beim Prüfen eines Bestellstatus, beim Abrufen der Verfügbarkeit oder beim Lesen von Kontoinformationen.

Beispiel für eine wörtliche Auslegung

Allgemeine Empfehlungen für Prompts:

  • Beschreibe ausdrücklich, welches Verhalten du erwartest.
  • Verwende verbindliche Formulierungen nur, wenn das Verhalten tatsächlich fest vorgegeben sein muss.
  • Vermeide widersprüchliche Vorgaben, soweit möglich.
  • Sei vorsichtig, wenn du mehrere Prioritätsregeln kombinierst oder sie miteinander konkurrieren.
  • Teste Prompts schrittweise. Schon kleine Änderungen am Wortlaut können das Verhalten deutlich verändern.
  • Rechne bei der Migration von früheren Realtime-Modellen damit, dass du manche Prompts für optimale Ergebnisse neu strukturieren musst.

Sprache und Akzent getrennt steuern

Steuere die Antwortsprache unabhängig vom Akzent.

Aus dem Akzent einer Person lässt sich die gewünschte Antwortsprache nicht ableiten. Jemand kann Englisch mit einem von Hindi, Spanisch, Französisch oder Mandarin geprägten Akzent sprechen und trotzdem Antworten auf Englisch erwarten.

Vermeide allgemeine Sprachanweisungen wie diese:

Spiegle dein Gegenüber.
Antworte natürlich in der Sprache deines Gegenübers.
Wechsle die Sprache, wenn es passt.
Klinge wie jemand aus der Gegend.
Passe dich dem Akzent deines Gegenübers an.

Solche Vorgaben lassen zu viel Spielraum. Das Modell könnte den Akzent, Füllwörter, kurze Hörersignale oder einzelne fremdsprachige Wörter zum Anlass nehmen, die Sprache zu wechseln.

Regeln für Englisch als Antwortsprache

## Sprache

Englisch ist die Standardantwortsprache.

- Leite die Sprache nicht allein aus dem Akzent ab.
- Ignoriere bei der Spracherkennung kurze Fülllaute, Hörersignale und einzelne fremdsprachige Wörter.
- Wechsle die Sprache nur, wenn dein Gegenüber ausdrücklich darum bittet oder sich inhaltlich zusammenhängend in einer anderen Sprache äußert.
- Bist du dir bei der Sprache unsicher, frage kurz nach, anstatt zu raten.
- Verwende für Zwischenmeldungen, gesprochene Überleitungen, Nachrichten zu Tools und abschließende Antworten dieselbe Sprache.
- Wenn du den Akzent anpasst, darf sich die Antwortsprache dadurch nicht ändern.

Regeln für mehrsprachige Gespräche

## Sprache

Antworte standardmäßig auf Englisch, sofern dein Gegenüber nicht eindeutig eine andere Sprache verwendet.

Wechsle die Sprache nur in folgenden Fällen:

- Dein Gegenüber bittet ausdrücklich um eine andere Sprache.
- Dein Gegenüber äußert sich inhaltlich zusammenhängend in einer anderen Sprache. Damit ist eine vollständige Bitte, Frage oder Korrektur gemeint. Eine Begrüßung, ein Name, eine Adresse, ein Füllwort oder eine entlehnte Wendung allein genügt nicht.

Wechsle die Sprache nicht aufgrund folgender Merkmale:

- Akzent,
- Aussprache,
- Füllwörter,
- kurze Hörersignale,
- Namen,
- Adressen,
- einzelne fremdsprachige Wörter.

Frage im Zweifel:

„Soll ich auf Englisch oder auf [LANGUAGE] weitersprechen?“

Akzent steuern

gpt-realtime-2 kann Vorgaben zum Akzent genauer umsetzen. Vage Anweisungen können jedoch dazu führen, dass sich der Akzent im Gespräch verändert oder das Modell unbeabsichtigt die Sprache wechselt.

Prompts zum Akzent funktionieren am besten, wenn sie Folgendes festlegen:

  • den gewünschten Akzent,
  • die Merkmale, die gleich bleiben sollen,
  • das gewünschte Sprechtempo, die Betonung und die Sprachmelodie,
  • ob sich die Anpassung des Akzents auf die Sprachwahl auswirken soll.

Anstelle von:

Klinge australisch.

Verwende:

## Akzent

Sprich Englisch mit einem leichten australischen Akzent.

- Behalte den Akzent vom ersten bis zum letzten Wort bei.
- Sprich die Vokale so aus, wie es im australischen Englisch üblich ist. Achte dabei auf gute Verständlichkeit.
- Übertreibe den Akzent nicht.
- Wechsle die Antwortsprache nicht aufgrund des Akzents deines Gegenübers.

Individuelle Stimmen

Nutze Custom Voices, wenn Standardstimmen die Anforderungen an Markenklang, Akzent oder eine bestimmte Figur nicht zuverlässig erfüllen.

Mit Prompts kannst du Akzent, Tempo und Sprechweise steuern. Die gezielte Gestaltung einer Stimme lässt sich damit aber nur teilweise ersetzen. Wenn deine Anwendung eine konsistente Markenstimme oder einen möglichst originalgetreuen Akzent erfordert, kommen Custom Voices infrage.

Custom Voices stehen nur nach Freigabe zur Verfügung. Wende dich für den Zugang an dein Account-Team.

Den aktuellen Stand in langen Sitzungen festhalten

gpt-realtime-2 erweitert das Realtime-Kontextfenster von 32.000 auf 128.000 Token und eignet sich damit besser für lange Sitzungen. Bei Gesprächen mit vielen Sprachbeiträgen auf beiden Seiten entsprechen 128.000 Token grob ein bis zwei Stunden unaufbereiteter Audiodaten. Die tatsächliche Dauer hängt unter anderem von Tool-Aufrufen, internem Reasoning, eingefügten Datensätzen und weiteren Sitzungsdetails ab.

Bei umfangreichem Kontext arbeitet gpt-realtime-2 am besten, wenn es aktuelle Informationen von Hintergrundwissen unterscheiden kann und weiß, welche Angaben es bei widersprüchlichen Quellen außer Acht lassen soll. Strukturiere den Kontext, damit das Modell die Priorität der Quellen nicht aus einem Rohtranskript oder einer großen Sammlung ungeordneter Informationen ableiten muss.

Verwende eine feste Struktur, wenn eine Sitzung mit umfangreichem Kontext beginnt, etwa mit abgerufenen Datensätzen, früheren Gesprächsverläufen, Richtlinien, Zusammenfassungen, Kontonotizen oder Hintergrunddokumenten.

Von früheren Realtime-Modellen migrieren

Prüfe bei der Migration von früheren Realtime-Modellen, wie der Prompt das Verhalten steuert. Das geht über das reine Übertragen des Textes hinaus.

  1. Nutze Codex oder ein leistungsfähiges Reasoning-Modell, um den Prompt anhand der aktuellen Empfehlungen für Realtime neu zu strukturieren. Verlinke diesen Leitfaden, damit sich die Migration an bewährten Vorgehensweisen orientiert.
  2. Setze den Reasoning-Aufwand anstelle des Standardwerts auf low. Erhöhe ihn nur bei Abläufen, die gründlichere Planung erfordern.
  3. Prüfe Tool-Namen, Parameter, Enums, JSON-Schemas und weitere Einstellungen auf Übereinstimmung mit der vorgesehenen Implementierung.
  4. Entferne veraltete Beispiele. Ergänze kurze Beispiele für reguläre Abläufe, mehrdeutige Eingaben, Unterbrechungen, Tool-Aufrufe und das Verhalten, wenn der vorgesehene Weg scheitert.
  5. Vergleiche repräsentative Gespräche vor und nach der Migration. Prüfe mit einer vorhandenen Evaluation auf Regressionen und dokumentiere beabsichtigte Verhaltensänderungen.
  6. Prüfe abschließend die Konsistenz. Der Prompt sollte verbindliche Anforderungen, Standardvorgaben, Tool-Regeln, Sicherheitsregeln und Ausweichverfahren klar voneinander trennen.
  7. Führe Evaluationen durch, untersuche typische Fehler und überarbeite den Prompt, bis das Modell zuverlässig das gewünschte Verhalten zeigt.

Nächste Schritte

Für GPT-Live:

Für Realtime: