Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Eigene Stimmen

Erstelle eine eigene Stimme anhand einer Beschreibung oder einer freigegebenen Aufnahme.

Du kannst eine eigene Stimme für deinen Agenten oder deine Anwendung erstellen. Dafür hast du zwei Möglichkeiten:

  • Aus einer Beschreibung: Erzeuge mit Prompt-to-Voice eine Stimme für GPT-Live. Beschreibe in einem Text-Prompt, wie die Stimme klingen soll.
  • Aus einer Aufnahme: Stelle eine Aufnahme der Einwilligung und eine kurze Referenzaufnahme bereit. Die so erstellten Stimmen kannst du mit GPT-Live, der Text to Speech API, der Realtime API oder der Chat Completions API mit Audioausgabe verwenden.

Wie du eine vorhandene Stimme für GPT-Live auswählst, erfährst du im Abschnitt Stimmoptionen.

Eine Stimme aus einer Beschreibung erstellen

Prompt-to-Voice erstellt und speichert eine Stimme anhand einer Textbeschreibung. Dafür brauchst du weder eine Referenzaufnahme noch eine Aufnahme der Einwilligung.

Prompt-to-Voice ist für alle verfügbar, die die API nutzen. Per Prompt erstellte Stimmen funktionieren mit GPT-Live. Die Text to Speech API, die Realtime API und die Chat Completions API unterstützen diese Stimmen nicht.

Stimmen verantwortungsvoll einsetzen

  • Nutze Stimmen verantwortungsvoll. Gib dich nicht als jemand anderes aus und halte dich an unsere Nutzungsrichtlinien.
  • Verwende Stimmen von Erwachsenen. Kinderstimmen sind nicht erlaubt.
  • Sorge für Transparenz. Weise dein Publikum darauf hin, dass die Sprachausgabe KI-generiert ist. Behalte alle Herkunftsmetadaten, Wasserzeichen und sonstigen Hinweise auf den synthetischen Ursprung bei.
  • Die Einzigartigkeit einer Stimme ist nicht garantiert. Andere können ähnliche Stimmen oder Ausgaben erzeugen. Für deine Eigentumsrechte an der Ausgabe gilt weiterhin deine Vereinbarung mit OpenAI.
  • Die Servicebedingungen gelten sowohl für dich als auch für die Personen, die Prompt-to-Voice über deine Anwendung nutzen.

Stimme erstellen und speichern

Erstelle die Stimme über die API oder im Playground für Stimmen. Das Erstellen einer Stimme per Prompt ist kostenlos. Wenn du sie für die Sprachausgabe in GPT-Live verwendest, gelten die regulären Sitzungspreise.

Sende eine JSON-Anfrage an /v1/audio/voices und setze type auf prompt:

curl --fail-with-body https://api.openai.com/v1/audio/voices \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "type": "prompt",
    "name": "Support assistant",
    "prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
    "model": "auto"
  }' \
  -o voice.json

Mit script_hint kannst du einen Beispieltext vorgeben, an dem sich der Dienst beim Erstellen der Stimme orientiert. Lässt du das Feld weg, erstellt der Dienst den Text anhand deiner Stimmbeschreibung. Für einen eigenen Beispieltext kannst du bis zu 2.000 Zeichen verwenden. Wähle einen Text, der für die spätere Sprachausgabe typisch ist. Leere oder zu kurze Texte werden abgelehnt.

Bei jeder erfolgreichen Anfrage wird eine neue Stimme erstellt und gespeichert. Die Antwort enthält Metadaten wie die ID der Stimme, den Erstellungszeitpunkt als Unix-Zeitstempel in Sekunden und den ursprünglichen Prompt mit der Stimmbeschreibung. Audiodaten oder eine Hörprobe sind nicht enthalten:

{
  "object": "audio.voice",
  "id": "voice_123",
  "name": "Support assistant",
  "created_at": 0,
  "type": "prompt",
  "prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace."
}

Speichere die zurückgegebene id und bewahre den ursprünglichen Prompt mit der Stimmbeschreibung auf. Wenn du dieselbe Stimme in einer anderen Sitzung verwenden möchtest, greife auf die gespeicherte Stimme zurück. Pro Organisation kannst du bis zu 100 Stimmen per Prompt erstellen. Dieses Limit gilt auch, wenn deine Anwendung Stimmen für deine Kundschaft erstellt.

Stimme beschreiben

Beschreibe in einfachen Worten, wie die Stimme klingen soll. Zum Beispiel:

Eine ruhige, beruhigende Stimme einer erwachsenen Person für einen Assistenten im Kundenservice.
Sprich mit amerikanisch-englischem Akzent in mittlerer Tonlage. Die Stimme soll weich und warm klingen.
Halte das Tempo gleichmäßig, wie in einem natürlichen Gespräch.

Die folgenden Beispiele zeigen, welche Eigenschaften du beschreiben kannst. Die Formulierungen gehören in deinen Prompt. Für diese Eigenschaften gibt es keine separaten API-Parameter:

Eigenschaft Was du beschreiben kannst Beispielformulierung
Akzent Regionale Aussprache und Stärke des Akzents Amerikanisches Englisch mit ausgeprägtem Akzent
Alter Wie alt die Person klingt Eine erwachsene Person in den Dreißigern
Wirkung Wie die Stimme wahrgenommen wird Feminin
Tonhöhe Wie tief oder hoch die Stimme klingt Mittlere Tonlage
Klangfarbe Klangcharakter der Stimme Weich und voll
Stimmtextur Wie rau, heiser oder klar die Stimme klingt Weich
Lautstärke Mit wie viel Kraft gesprochen wird Mit mäßigem Krafteinsatz
Sprechtempo Wie schnell gesprochen wird Mittleres Tempo
Wiedererkennungswert Wie ausgeprägt der individuelle Charakter der Stimme sein soll Mäßig markant

Beschreibe die Eigenschaften der Stimme selbst. Fordere das Modell nicht auf, eine namentlich genannte Person, eine Person des öffentlichen Lebens oder eine fiktive Figur zu imitieren. Kinderstimmen sind nicht erlaubt. Beschreibe die Stimme einer erwachsenen Person.

Beispielbeschreibungen

Nutze diese Beschreibungen als Ausgangspunkt und höre dir die Ergebnisse in deiner Anwendung an.

Ruhige Assistenzstimme

Eine warme Stimme einer erwachsenen Person in mittlerer Tonlage mit weicher, voller Klangfarbe.
Sprich mit mäßigem Stimmeinsatz, ohne Eile und in beruhigendem Ton.

Lebhafte Stimme für Führungen

Eine helle, klare Stimme einer erwachsenen Person in etwas höherer Tonlage mit einem leicht körnigen Klang.
Sprich lebhaft und natürlich wie in einem Gespräch. Wähle ein zügiges Tempo, dem man gut folgen kann.

Lege Gesprächsregeln in deinen Sitzungsanweisungen für GPT-Live fest. Dazu gehören etwa die Antwortlänge, der Umgang mit Unterbrechungen und die Entscheidung, wann der Agent eine Aufgabe delegieren soll.

Stimme in GPT-Live anhören

Wenn du dir eine Stimme im Playground anhörst, startet eine GPT-Live-Sitzung. Dafür gelten die regulären Sitzungspreise.

Setze session.audio.output.voice.id auf die zurückgegebene Stimm-ID. Damit die Stimme wie gewünscht klingt, gib in session.instructions zusätzlich zu den Gesprächsanweisungen deiner Anwendung die ursprüngliche Stimmbeschreibung an.

Ersetze voice_123 durch die ID, die du beim Erstellen der Stimme erhalten hast:

{
  "model": "gpt-live-1",
  "instructions": "You are a helpful voice assistant. A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
  "audio": { "output": { "voice": { "id": "voice_123" } } }
}

Für WebRTC gibst du diese Konfiguration im JSON-Feld session neben transport an. Für WebSockets übergibst du sie im ersten session.start-Ereignis. Folge der Verbindungsanleitung, um Audiodaten zu senden und die Stimme zu hören. Wähle die Stimme beim Start aus. Um eine andere Stimme auszuprobieren, starte eine neue Sitzung.

Das Erstellen von Stimmen über /v1/audio/voices, auch aus Aufnahmen, ist mit der Einstellung „Keine Datenaufbewahrung“ nicht kompatibel. Für die Sprachausgabe mit GPT-Live kannst du diese Einstellung nutzen, wenn sie für deine Organisation oder dein Projekt aktiviert ist. Bei aktivierter Einstellung kannst du Sitzungsaufzeichnungen weder speichern noch herunterladen. Auch das Forken von Sitzungen ist dann nicht verfügbar. Die Anforderungen für das Speichern und Aufbewahren von Sitzungsdaten findest du im Abschnitt Datenkontrollen.

Stimme verfeinern und wiederverwenden

Ändere jeweils nur eine Eigenschaft. Vergleiche die Ergebnisse anhand derselben kurzen Textpassage und einiger Gesprächswechsel. Achte dabei auf Akzent, Sprechtempo und andere Eigenschaften, die für deine Anwendung wichtig sind. Bewahre die ID deiner bevorzugten Stimme auf, um sie wiederzuverwenden.

Bei jeder Anfrage zum Erstellen einer Stimme wird eine neue Stimme gespeichert. Um eine andere gespeicherte Stimme auszuprobieren, starte eine neue GPT-Live-Sitzung mit der entsprechenden ID.

Eine Stimme aus einer Aufnahme erstellen

Stelle eine kurze Referenzaufnahme bereit. Das Modell versucht, die darin zu hörende Stimme nachzubilden.

Nur wer dafür freigeschaltet ist, kann eigene Stimmen aus Aufnahmen erstellen. Weitere Informationen erhältst du von unserem Vertriebsteam. Sobald die Funktion für deine Organisation freigeschaltet ist, findest du unter „Audio“ den Tab „Voices“.

Aufnahmen vorbereiten und hochladen

Stimmen aus Aufnahmen kannst du nur per API-Anfrage erstellen. Alle verfügbaren API-Operationen findest du in der API-Referenz.

Um eine Stimme aus einer Aufnahme zu erstellen, brauchst du zwei separate Audioaufnahmen:

  1. Aufnahme der Einwilligung: In dieser Aufnahme erklärt die sprechende Person, dass sie mit der Nachbildung ihrer Stimme einverstanden ist. Dazu muss sie eine der unten aufgeführten Einwilligungserklärungen vorlesen.
  2. Referenzaufnahme: Diese Aufnahme dient dem Modell als Stimmvorlage. Die Stimme muss mit der Stimme in der Aufnahme der Einwilligung übereinstimmen.

Tipps für eine hochwertige Stimme

Wie gut deine eigene Stimme klingt, hängt maßgeblich von der Referenzaufnahme ab. Eine bessere Aufnahmequalität kann das Ergebnis deutlich verbessern.

  • Nimm die Stimme an einem ruhigen Ort mit möglichst wenig Hall auf.
  • Verwende ein professionelles XLR-Mikrofon.
  • Halte beim Sprechen einen gleichbleibenden Abstand von etwa 18 bis 20 cm zum Mikrofon. Platziere dazwischen einen Popfilter.
  • Das Modell übernimmt genau das, was es hört, einschließlich Tonfall, Sprechrhythmus, Energie, Pausen und Sprechgewohnheiten. Nimm die Stimme deshalb so auf, wie sie später klingen soll. Achte darauf, dass Energie, Sprechstil und Akzent während der gesamten Aufnahme gleich bleiben.
  • Schon kleine Unterschiede in der Referenzaufnahme können sich auf die Qualität der erzeugten Stimme auswirken. Probiere mehrere Aufnahmen aus, um die passende zu finden.

Anforderungen und Einschränkungen

  • Pro Organisation kannst du höchstens 20 Stimmen aus Aufnahmen erstellen.
  • Die Audiobeispiele dürfen höchstens 60 Sekunden lang sein.
  • Die Audiobeispiele müssen in einem der folgenden Formate vorliegen: mpeg, wav, ogg, aac, flac, webm oder mp4.

Weitere Nutzungsbedingungen findest du in der Zusatzvereinbarung für Text-to-Speech.

Einwilligung zur Stimmnutzung erstellen

Die Aufnahme der Einwilligung darf ausschließlich eine der folgenden Erklärungen enthalten. Bei jeder Abweichung vom Wortlaut wird die Aufnahme abgelehnt.

Sprache Einwilligungserklärung
Deutsch (de) Ich bin der Eigentümer dieser Stimme und bin damit einverstanden, dass OpenAI diese Stimme zur Erstellung eines synthetischen Stimmmodells verwendet.
Englisch (en) I am the owner of this voice and I consent to OpenAI using this voice to create a synthetic voice model.
Spanisch (es) Soy el propietario de esta voz y doy mi consentimiento para que OpenAI la utilice para crear un modelo de voz sintética.
Französisch (fr) Je suis le propriétaire de cette voix et j’autorise OpenAI à utiliser cette voix pour créer un modèle de voix synthétique.
Hindi (hi) मैं इस आवाज का मालिक हूं और मैं सिंथेटिक आवाज मॉडल बनाने के लिए OpenAI को इस आवाज का उपयोग करने की सहमति देता हूं
Indonesisch (id) Saya adalah pemilik suara ini dan saya memberikan persetujuan kepada OpenAI untuk menggunakan suara ini guna membuat model suara sintetis.
Italienisch (it) Sono il proprietario di questa voce e acconsento che OpenAI la utilizzi per creare un modello di voce sintetica.
Japanisch (ja) 私はこの音声の所有者であり、OpenAIがこの音声を使用して音声合成 モデルを作成することを承認します。
Koreanisch (ko) 나는 이 음성의 소유자이며 OpenAI가 이 음성을 사용하여 음성 합성 모델을 생성할 것을 허용합니다.
Niederländisch (nl) Ik ben de eigenaar van deze stem en ik geef OpenAI toestemming om deze stem te gebruiken om een synthetisch stemmodel te maken.
Polnisch (pl) Jestem właścicielem tego głosu i wyrażam zgodę na wykorzystanie go przez OpenAI w celu utworzenia syntetycznego modelu głosu.
Portugiesisch (pt) Eu sou o proprietário desta voz e autorizo o OpenAI a usá-la para criar um modelo de voz sintética.
Russisch (ru) Я являюсь владельцем этого голоса и даю согласие OpenAI на использование этого голоса для создания модели синтетического голоса.
Ukrainisch (uk) Я є власником цього голосу і даю згоду OpenAI використовувати цей голос для створення синтетичної голосової моделі.
Vietnamesisch (vi) Tôi là chủ sở hữu giọng nói này và tôi đồng ý cho OpenAI sử dụng giọng nói này để tạo mô hình giọng nói tổng hợp.
Chinesisch (zh) 我是此声音的拥有者并授权OpenAI使用此声音创建语音合成模型

Lade die Aufnahme anschließend über die API hoch. Nach erfolgreichem Upload erhältst du die ID der Einwilligungsaufnahme, die du später angibst. Wenn dieselbe Person mehrere Versuche macht, kannst du dieselbe Einwilligung für mehrere Stimmen verwenden.

curl https://api.openai.com/v1/audio/voice_consents \
  -X POST \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "name=test_consent" \
  -F "language=en" \
  -F "recording=@$HOME/tmp/voice_consent/consent_recording.wav;type=audio/x-wav"

Stimme erstellen

Erstelle nun die Stimme, indem du die ID der Einwilligungsaufnahme angibst und die Referenzaufnahme übermittelst.

curl https://api.openai.com/v1/audio/voices \
  -X POST \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "name=test_voice" \
  -F "audio_sample=@$HOME/tmp/voice_consent/audio_sample_recording.wav;type=audio/x-wav" \
  -F "consent=cons_123abc"

Nach erfolgreicher Erstellung findest du die Stimme im Tab „Audio“.

Eine Stimme aus einer Aufnahme für die Sprachausgabe verwenden

Nutze gpt-realtime-2.1-mini mit der Realtime API, um Sprache mit deiner eigenen Stimme auszugeben. Setze session.audio.output.voice vor der ersten Audioantwort der Sitzung auf ein Objekt, das die Stimm-ID enthält.

Realtime-Sitzung konfigurieren

Verwende den folgenden Anfragekörper, wenn du ein Realtime-Client-Secret erstellst. Folge anschließend der Verbindungsanleitung für WebRTC, um mit diesem Secret die Verbindung herzustellen. Ersetze voice_123abc durch die ID, die du beim Erstellen der Stimme erhalten hast:

const sessionConfig = JSON.stringify({
  session: {
    type: "realtime",
    model: "gpt-realtime-2.1-mini",
    instructions: "Read the user's text aloud without adding commentary.",
    output_modalities: ["audio"],
    audio: {
      output: {
        voice: { id: "voice_123abc" },
      },
    },
  },
});

Füge für die Sprachausgabe eine Nutzernachricht mit dem vorzulesenden Text hinzu. Sende anschließend response.create und setze dabei output_modalities auf ["audio"]. Die Sitzungsanweisungen fordern das Modell auf, den übermittelten Text vorzulesen. Die erzeugten Audiodaten empfängst du über die WebRTC-Audiospur, wie im Abschnitt Audiodaten mit WebRTC verarbeiten beschrieben.

Eine Stimme aus einer Aufnahme mit GPT-Live verwenden

Verwende einen projektspezifischen API-Schlüssel, der sowohl für GPT-Live als auch für das Erstellen eigener Stimmen freigegeben ist. Zum Abrufen der Einwilligungserklärungen und zum Verwenden einer eigenen Stimme brauchst du api.voices.read. Um Einwilligungen und Stimmen zu erstellen, brauchst du api.voices.write und Zugriff auf die API für eigene Stimmen. Verwende für jede Anfrage dasselbe Projekt und bewahre den API-Schlüssel auf einem vertrauenswürdigen Server auf.

Aufnahmen vorbereiten

Rufe vor der Aufnahme die Liste der aktuell unterstützten Einwilligungserklärungen ab:

curl https://api.openai.com/v1/audio/consent_phrases \
  -H "Authorization: Bearer $OPENAI_API_KEY"

Die Einwilligungsaufnahme und die Referenzaufnahme müssen von derselben Person stammen. Die Referenzaufnahme muss mindestens fünf Sekunden gesprochene Sprache enthalten. Das Transkript muss mindestens 15 Text-Token umfassen. Stille zählt nicht mit. Verwende eine 10 bis 60 Sekunden lange Aufnahme mit mehreren vollständigen Sätzen. Pro Upload sind maximal 10 MiB zulässig. Der Dienst erstellt das Referenztranskript aus deiner Aufnahme.

Bei Aufnahmen im Browser kann der MIME-Typ audio/webm;codecs=opus angegeben sein. Der Upload-Endpunkt lehnt diesen Typ ab. Gib beim Vorbereiten des Uploads den unterstützten Basis-MIME-Typ audio/webm an und lass die ursprünglichen Audiobytes unverändert. Verwende die oben gezeigten Anfragen zum Erstellen der Einwilligung und der Stimme. Speichere anschließend die zurückgegebene Stimm-ID.

Stimme beim Erstellen der Sitzung auswählen

Übergib eine eigene Stimme als Objekt, zum Beispiel { "id": "voice_123" }. Benannte Stimmen wie "marin" gibst du als Zeichenfolge an.

gpt-live-1 unterstützt eigene Stimmen mit englischen Akzenten. Gib den gewünschten Akzent zusätzlich in session.instructions an, zum Beispiel mit „Sprich britisches Englisch“ oder „Sprich irisches Englisch“. Das folgende Beispiel verwendet britisches Englisch. Passe die Anweisung an den gewünschten Akzent deiner Stimme an.

Gib beim Start der Sitzung die folgende Konfiguration an:

{
  "model": "gpt-live-1",
  "instructions": "You are a helpful voice assistant. Speak British English.",
  "audio": { "output": { "voice": { "id": "voice_123" } } }
}

Für WebRTC muss dein Anwendungsserver diese Konfiguration im JSON-Feld session neben transport angeben. Authentifiziere Anfragen an deinen Server mit den Zugangsdaten der Anwendung und bewahre den OpenAI-API-Schlüssel auf dem Server auf.

Für WebSockets übergibst du die Konfiguration im ersten session.start-Ereignis. Folge der Verbindungsanleitung, um Audiodaten zu streamen und die Sitzung zu beenden.

Fehler beim Zugriff und bei der Nutzung einer Stimme behandeln

  • Wähle die Stimme beim Erstellen der Sitzung aus. Starte eine neue Sitzung, wenn du eine andere Stimme verwenden möchtest.
  • Ist eine Stimme gelöscht oder ihre Freigabe widerrufen, stammt die Einwilligung aus einem anderen Projekt oder fehlt der Zugriff auf eigene Stimmen, kann die API den Statuscode 404 zurückgeben.
  • Die API lehnt die Anfrage ab, wenn die Audiodaten fehlerhaft sind, die Stimmen in den beiden Aufnahmen nicht übereinstimmen oder der Schlüssel nicht projektspezifisch ist.

Prüfe vor dem Erstellen einer Stimme die Berechtigungen deines Projekts, die Mindestanforderungen an die Aufnahmen und die Upload-Limits. Die Voraussetzungen für das Einrichten einer Sitzung findest du im Einstieg in GPT-Live.