Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Sprachsynthese

Erfahre, wie du Text in natürlich klingende Sprache umwandelst.

Die Modelle tts-1, tts-1-hd und gpt-4o-mini-tts sind veraltet und werden am 6. Januar 2027 abgeschaltet. Steige auf gpt-realtime-2.1-mini um und verwende dafür die Realtime API. Dafür musst du deine API-Aufrufe anpassen, da gpt-realtime-2.1-mini für /v1/audio/speech nicht unterstützt wird. Bestehende Integrationen können die unten beschriebenen Abläufe der Speech API bis zur Abschaltung weiter nutzen. Einzelheiten findest du in der Ankündigung zur Abschaltung.

Die Audio API bietet den Endpunkt speech. Er basiert auf unserem Modell GPT-4o mini TTS für die Sprachsynthese und verfügt über 11 integrierte Stimmen. Damit kannst du:

  • Blogbeiträge vorlesen lassen
  • Sprachausgaben in mehreren Sprachen erzeugen
  • Audio per Streaming in Echtzeit ausgeben

So klingt die Stimme alloy:

Unsere Nutzungsrichtlinien verpflichten dich, alle, die deine Anwendung nutzen, klar darauf hinzuweisen, dass sie eine KI-generierte Stimme hören und keine menschliche.

Schnellstart

Für den Endpunkt speech gibst du drei wesentliche Parameter an:

  1. Das Modell, das du verwenden möchtest
  2. Den Text, den du in Sprache umwandeln möchtest
  3. Die Stimme, die den Text sprechen soll

So sieht eine Beispielanfrage aus:

Eingabetext in gesprochene Sprache umwandeln
from pathlib import Path
from openai import OpenAI

client = OpenAI()
speech_file_path = Path(__file__).parent / "speech.mp3"

with client.audio.speech.with_streaming_response.create(
    model="gpt-4o-mini-tts",
    voice="coral",
    input="Today is a wonderful day to build something people love!",
    instructions="Speak in a cheerful and positive tone.",
) as response:
    response.stream_to_file(speech_file_path)

Standardmäßig gibt der Endpunkt die Sprachausgabe als MP3-Datei zurück. Du kannst aber auch jedes andere unterstützte Format wählen.

Modelle für die Sprachsynthese

In bestehenden Integrationen der Speech API kannst du bei gpt-4o-mini-tts mit Prompts folgende Merkmale der Sprachausgabe steuern:

  • Akzent
  • Emotionale Bandbreite
  • Intonation
  • Stimmimitationen
  • Sprechtempo
  • Tonfall
  • Flüstern

Unsere weiteren Modelle für die Sprachsynthese sind tts-1 und tts-1-hd. Das Modell tts-1 bietet eine geringere Latenz, erreicht aber eine niedrigere Audioqualität als das Modell tts-1-hd.

Verfügbare Stimmen

Am TTS-Endpunkt kannst du aus 13 integrierten Stimmen wählen und so bestimmen, wie dein Text klingt. Auf OpenAI.fm kannst du dir die Stimmen anhören und sie ausprobieren. In dieser interaktiven Demo lernst du das neueste Modell für die Sprachsynthese in der OpenAI API kennen. Die Stimmen sind derzeit für Englisch optimiert.

  • alloy
  • ash
  • ballad
  • coral
  • echo
  • fable
  • nova
  • onyx
  • sage
  • shimmer
  • verse
  • marin
  • cedar

Für die beste Audioqualität empfehlen wir marin oder cedar.

Welche Stimmen verfügbar sind, hängt vom Modell ab. Die Modelle tts-1 und tts-1-hd unterstützen weniger Stimmen: alloy, ash, coral, echo, fable, onyx, nova, sage und shimmer.

Wenn du die Realtime API verwendest, hast du eine etwas andere Auswahl. Welche Stimmen aktuell für Echtzeitgespräche verfügbar sind, erfährst du im Leitfaden zu Echtzeitgesprächen.

Audio in Echtzeit streamen

Die Speech API unterstützt Audiostreaming in Echtzeit und nutzt dafür die blockweise Übertragung. So kannst du die Wiedergabe starten, bevor die vollständige Audiodatei erstellt wurde und zum Abruf bereitsteht.

Sprachausgabe aus Eingabetext direkt auf deine Lautsprecher streamen
import asyncio

from openai import AsyncOpenAI
from openai.helpers import LocalAudioPlayer

openai = AsyncOpenAI()


async def main() -> None:
    async with openai.audio.speech.with_streaming_response.create(
        model="gpt-4o-mini-tts",
        voice="coral",
        input="Today is a wonderful day to build something people love!",
        instructions="Speak in a cheerful and positive tone.",
        response_format="pcm",
    ) as response:
        await LocalAudioPlayer().play(response)


if __name__ == "__main__":
    asyncio.run(main())

Für möglichst kurze Antwortzeiten empfehlen wir wav oder pcm als Antwortformat.

Unterstützte Ausgabeformate

Das Standardformat für Antworten ist mp3. Weitere Formate wie opus und wav stehen ebenfalls zur Verfügung.

  • MP3: Das Standardformat für die meisten Anwendungsfälle.
  • Opus: Für Streaming und Kommunikation über das Internet mit geringer Latenz.
  • AAC: Für die Komprimierung digitaler Audiodaten. YouTube, Android und iOS bevorzugen dieses Format.
  • FLAC: Für die verlustfreie Audiokomprimierung. Wer Wert auf hohe Klangqualität legt, nutzt dieses Format häufig zur Archivierung.
  • WAV: Unkomprimierte Audiodaten im WAV-Format. Geeignet für Anwendungen mit geringer Latenz, da keine zusätzliche Dekodierung nötig ist.
  • PCM: Ähnlich wie WAV, enthält aber nur die rohen Abtastwerte mit 24 kHz (16 Bit, vorzeichenbehaftet, Little Endian) ohne Dateikopf.

Unterstützte Sprachen

Das TTS-Modell unterstützt weitgehend dieselben Sprachen wie das Modell Whisper. Whisper unterstützt die folgenden Sprachen und liefert gute Ergebnisse, auch wenn die Stimmen für Englisch optimiert sind:

Afrikaans, Arabisch, Armenisch, Aserbaidschanisch, Belarussisch, Bosnisch, Bulgarisch, Katalanisch, Chinesisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Galicisch, Deutsch, Griechisch, Hebräisch, Hindi, Ungarisch, Isländisch, Indonesisch, Italienisch, Japanisch, Kannada, Kasachisch, Koreanisch, Lettisch, Litauisch, Mazedonisch, Malaiisch, Marathi, Maori, Nepalesisch, Norwegisch, Persisch, Polnisch, Portugiesisch, Rumänisch, Russisch, Serbisch, Slowakisch, Slowenisch, Spanisch, Swahili, Schwedisch, Tagalog, Tamil, Thai, Türkisch, Ukrainisch, Urdu, Vietnamesisch und Walisisch.

Um eine Sprachausgabe in einer dieser Sprachen zu erzeugen, gib den Text in der gewünschten Sprache ein.

Benutzerdefinierte Stimmen

Um eine genehmigte benutzerdefinierte Stimme zu erstellen, brauchst du zwei Aufnahmen derselben Person: ihre gesprochene Einwilligung und eine dazu passende Stimmprobe. Im Leitfaden zu benutzerdefinierten Stimmen erfährst du, wer die Funktion nutzen kann, welche Anforderungen für die Aufnahmen gelten, wie die Einwilligung lauten muss und welche API-Anfragen du dafür verwendest.

Eine Stimme erstellen

Folge der Anleitung Eine benutzerdefinierte Stimme erstellen.

Eine Stimme für die Sprachsynthese verwenden

Übergib bei der Sprachsynthese die ID der erstellten Stimme. Wie das geht, zeigen die Beispiele zur Sprachsynthese.

Weiterführende Leitfäden

Überblick über Echtzeit- und Audiofunktionen

Wähle den passenden Ansatz für Sprachagenten, Übersetzung, Transkription und Sprachsynthese.

Grundlagen der Audio- und Sprachverarbeitung

Informiere dich über Audiomodalitäten, Aufgaben der Sprachverarbeitung, Streaming und anfragebasierte APIs.