Mit der Sprachaktivitätserkennung (VAD) erkennt die Realtime API automatisch, wann eine Person zu sprechen beginnt und wann sie aufhört.
In Echtzeitsitzungen mit Speech-to-Speech ist VAD standardmäßig aktiviert. Die Funktion ist optional und lässt sich deaktivieren.
Bei der Transkription in Echtzeit hängt es vom Transkriptionsmodell ab, ob sich Redebeiträge automatisch erkennen lassen. Modelle, die VAD unterstützen, verwenden standardmäßig server_vad. Bei gpt-live-transcribe und gpt-realtime-whisper musst du die Einstellung zur Erkennung von Redebeiträgen weglassen oder auf null setzen. Sende bei diesen Modellen input_audio_buffer.commit, um die Audioeingabe für jeden Redebeitrag abzuschließen.
Überblick
Bei aktivierter VAD teilt die Realtime API die Audiodaten automatisch in Abschnitte auf. Sie sendet Ereignisse, die anzeigen, wann eine Person zu sprechen beginnt und wann sie aufhört:
input_audio_buffer.speech_started: Beginn eines Redebeitragsinput_audio_buffer.speech_stopped: Ende eines Redebeitrags
Mit diesen Ereignissen kannst du Redebeiträge in deiner Anwendung verarbeiten. Du kannst damit zum Beispiel den Gesprächszustand verwalten oder Transkripte abschnittsweise verarbeiten.
Um VAD zu konfigurieren, sende das Client-Ereignis session.update und lege darin session.audio.input.turn_detection fest.
VAD bietet zwei Modi:
server_vad: Teilt die Audiodaten anhand von Sprechpausen automatisch in Abschnitte auf.semantic_vad: Schließt einen Audioabschnitt ab, wenn das Modell anhand der gesprochenen Worte zu dem Schluss kommt, dass die Person ihren Redebeitrag beendet hat.
Für Sitzungen und Modelle, die VAD unterstützen, ist server_vad der Standardwert.
In den folgenden Abschnitten erfährst du mehr über die beiden Modi.
Serverseitige VAD
Die serverseitige VAD ist der Standardmodus für Speech-to-Speech-Sitzungen und für Transkriptionssitzungen mit Modellen, die Redebeiträge automatisch erkennen können. Sie teilt die Audiodaten anhand von Sprechpausen automatisch in Abschnitte auf.
Mit den folgenden Eigenschaften kannst du die VAD-Einstellungen fein abstimmen:
threshold: Aktivierungsschwelle (0–1). Je höher die Schwelle, desto lauter muss das Audiosignal sein, um das Modell zu aktivieren. Eine höhere Schwelle kann daher in lauten Umgebungen bessere Ergebnisse liefern.prefix_padding_ms: Gibt in Millisekunden an, wie viel Audiomaterial vor dem erkannten Sprachbeginn in den Abschnitt aufgenommen wird.silence_duration_ms: Gibt in Millisekunden an, wie lange eine Sprechpause dauern muss, damit die VAD das Ende eines Redebeitrags erkennt. Bei kürzeren Werten erkennt sie das Ende schneller.
So kann eine VAD-Konfiguration aussehen:
{
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "server_vad",
"threshold": 0.5,
"prefix_padding_ms": 300,
"silence_duration_ms": 500,
"create_response": true, // only in conversation mode
"interrupt_response": true, // only in conversation mode
},
},
},
},
}
Verwende auch in Transkriptionssitzungen das Feld session.audio.input.turn_detection. Bei gpt-live-transcribe und gpt-realtime-whisper musst du das Feld weglassen oder auf null setzen.
Die Felder create_response und interrupt_response kommen nur in Speech-to-Speech-Gesprächen zum Einsatz. In Transkriptionssitzungen steuert VAD lediglich die Aufteilung der Audiodaten.
Semantische VAD
Die semantische VAD ist ein neuer Modus, der mithilfe eines semantischen Klassifikators anhand der gesprochenen Worte erkennt, wann eine Person ihren Redebeitrag beendet hat. Der Klassifikator bewertet die Audioeingabe danach, wie wahrscheinlich es ist, dass die Person ausgesprochen hat. Bei geringer Wahrscheinlichkeit wartet das Modell, bis die Wartezeit abgelaufen ist. Bei hoher Wahrscheinlichkeit muss es nicht warten. Wenn jemand beispielsweise mitten im Satz verstummt, wartet das Modell länger als nach einer klar abgeschlossenen Aussage.
In diesem Modus unterbricht das Modell die sprechende Person in einem Speech-to-Speech-Gespräch seltener. Auch bei der Transkription schließt es einen Abschnitt seltener ab, bevor die Person ausgesprochen hat.
Um die semantische VAD zu aktivieren, setze session.audio.input.turn_detection.type auf semantic_vad.
So kannst du den Modus konfigurieren:
{
"type": "session.update",
"session": {
"type": "realtime",
"audio": {
"input": {
"turn_detection": {
"type": "semantic_vad",
"eagerness": "auto", // optional
"create_response": true, // only in conversation mode
"interrupt_response": true, // only in conversation mode
},
},
},
},
}
Das Feld session.audio.input.turn_detection gilt auch für Transkriptionssitzungen mit Modellen, die VAD unterstützen. Die Felder create_response und interrupt_response gelten nur für Gespräche.
Mit der optionalen Eigenschaft eagerness legst du die maximale Wartezeit fest und steuerst so, wie schnell das Modell die sprechende Person unterbricht. Im Transkriptionsmodus beeinflusst die Einstellung die Aufteilung der Audiodaten, auch wenn das Modell keine Antwort gibt.
autoist der Standardwert und entsprichtmedium.lowgibt der Person mehr Zeit zum Sprechen.highschließt Audioabschnitte so früh wie möglich ab.
Wenn das Modell im Gesprächsmodus häufiger antworten soll oder du im Transkriptionsmodus schneller Transkriptionsereignisse erhalten möchtest, kannst du eagerness auf high setzen.
Wenn du die Person im Gesprächsmodus ausreden lassen möchtest oder im Transkriptionsmodus längere Transkriptabschnitte bevorzugst, kannst du eagerness auf low setzen.