Nutze die Echtzeittranskription, wenn deine Anwendung Sprache von einem Mikrofon, aus einem Anruf oder aus einem anderen Live-Audiostream in Text umwandeln soll, ohne dass der Assistent eine gesprochene Antwort gibt. Das empfohlene Modell liefert fortlaufend neue Textfragmente, während die Audiodaten eintreffen. Sobald deine Anwendung einen Redebeitrag per Commit abschließt, erhält sie das endgültige Transkript für diesen Beitrag.
Beginne mit gpt-live-transcribe. Wenn das Audio bereits als Aufnahme vorliegt, nutze die Dateitranskription. Einen Vergleich der Verfahren findest du in der Übersicht zur Transkription.
Transkriptionssitzung erstellen
Für die serverseitige Transkription über WebSocket mit einem regulären API-Schlüssel stellst du eine Verbindung zu wss://api.openai.com/v1/realtime?intent=transcription her. Verwende den Authentifizierungsheader aus der WebSocket-Anleitung, lass aber model in der URL weg. Die URL mit Modellangabe aus der Anleitung erstellt eine Gesprächssitzung. Diese akzeptiert die folgende Aktualisierung für die Transkription nicht.
Sobald die Verbindung steht, sende session.update mit type: "transcription" und wähle in der Sitzungskonfiguration gpt-live-transcribe aus. Für Audio aus dem Browser nutze die WebRTC-Anleitung.
{
"type": "session.update",
"session": {
"type": "transcription",
"audio": {
"input": {
"format": {
"type": "audio/pcm",
"rate": 24000
},
"transcription": {
"model": "gpt-live-transcribe"
},
"turn_detection": null
}
}
}
}Dieses Beispiel verwendet PCM-Audio mit 24 kHz. Lass in Transkriptionssitzungen mit gpt-live-transcribe das Feld audio.input.turn_detection weg oder setze es auf null. Das Modell unterstützt weder server_vad noch semantic_vad. Alle Optionen für die Sitzungskonfiguration findest du in der Referenz zu Realtime-Sitzungen.
Audio streamen
Sende die Audiodaten in Blöcken mit input_audio_buffer.append.
ws.send(
JSON.stringify({
type: "input_audio_buffer.append",
audio: base64Pcm16,
})
);Sende input_audio_buffer.commit am Ende jedes Redebeitrags, um das endgültige Transkript zu erhalten.
ws.send(
JSON.stringify({
type: "input_audio_buffer.commit",
})
);Erkenne das Ende eines Redebeitrags mit clientseitiger Sprachaktivitätserkennung (VAD) und sende dann input_audio_buffer.commit.
Transkriptionsereignisse verarbeiten
Lausche auf Delta-Ereignisse, die fortlaufend neue Textfragmente liefern, und auf Abschlussereignisse.
ws.on("message", (data) => {
const event = JSON.parse(data);
if (event.type === "conversation.item.input_audio_transcription.delta") {
process.stdout.write(event.delta);
}
if (event.type === "conversation.item.input_audio_transcription.completed") {
console.log("\nFinal transcript:", event.transcript);
}
});Ein Delta-Ereignis enthält den neu verfügbaren Teil des Transkripts.
{
"type": "conversation.item.input_audio_transcription.delta",
"item_id": "item_003",
"content_index": 0,
"delta": "Hello,"
}
Ein Abschlussereignis enthält das endgültige Transkript für das per Commit abgeschlossene Eingabeelement.
{
"type": "conversation.item.input_audio_transcription.completed",
"item_id": "item_003",
"content_index": 0,
"transcript": "Hello, how are you?"
}
Abschlussereignisse können in einer anderen Reihenfolge eintreffen als die zugehörigen Redebeiträge. Ordne die Transkriptionsereignisse anhand von item_id den per Commit abgeschlossenen Eingabeelementen zu.
Nachdem du eine Transkriptionssitzung konfiguriert hast, kannst du mit dieser Go-Funktion PCM16-Audio in Mono mit 24 kHz senden, den Redebeitrag per Commit abschließen und das endgültige Transkript dem zugehörigen Eingabeelement zuordnen.
func transcribeTurn(ctx context.Context, conn *realtime.RealtimeConnection, audio []byte) error {
for start := 0; start < len(audio); start += 9600 {
end := min(start+9600, len(audio))
if err := conn.Send(ctx, realtime.RealtimeClientEventParamOfInputAudioBufferAppend(base64.StdEncoding.EncodeToString(audio[start:end]))); err != nil {
return err
}
}
if err := conn.Send(ctx, realtime.RealtimeClientEventUnionParam{
OfInputAudioBufferCommit: &realtime.InputAudioBufferCommitEventParam{},
}); err != nil {
return err
}
// Match the final transcript to the committed item, not event arrival order.
var itemID string
for {
event, err := conn.Recv(ctx)
if err != nil {
return err
}
switch event.Type {
case "input_audio_buffer.committed":
itemID = event.OfInputAudioBufferCommittedEvent.ItemID
case "conversation.item.input_audio_transcription.delta":
delta := event.OfConversationItemInputAudioTranscriptionDeltaEvent
if itemID != "" && delta.ItemID == itemID {
fmt.Fprintf(os.Stderr, "Partial transcript (%s): %s\n", delta.ItemID, delta.Delta)
}
case "conversation.item.input_audio_transcription.completed":
completed := event.OfConversationItemInputAudioTranscriptionCompletedEvent
if itemID == "" || completed.ItemID != itemID {
continue
}
fmt.Println("Final transcript:", completed.Transcript)
return nil
case "conversation.item.input_audio_transcription.failed":
if itemID != "" && event.OfConversationItemInputAudioTranscriptionFailedEvent.ItemID == itemID {
return fmt.Errorf("transcription failed")
}
case "error":
return fmt.Errorf("Realtime API error: %s", event.OfRealtimeErrorEvent.Error.Message)
}
}
}Kontext für die Transkription angeben
Gib Kontext an, wenn Fachbegriffe im Audio vorkommen oder du mehrere Sprachen erwartest. Um die Transkriptionskonfiguration während einer laufenden Sitzung zu ändern, sende ein weiteres session.update-Ereignis.
{
"type": "session.update",
"session": {
"type": "transcription",
"audio": {
"input": {
"format": {
"type": "audio/pcm",
"rate": 24000
},
"transcription": {
"model": "gpt-live-transcribe",
"prompt": "A customer support call about a premium plan and account AC-42.",
"keywords": ["premium plan", "AC-42", "billing"],
"languages": ["en", "fr"],
"delay": "low"
},
"turn_detection": null
}
}
}
}- Beschreibe mit
promptdie Aufnahme oder die Situation, in der sie entsteht. - Gib mit
keywordsProduktnamen, Akronyme und andere Begriffe an, die wörtlich im Audio vorkommen können. - Gib mit
languagesdie erwarteten Eingabesprachen an.
Die API unterstützt unter anderem die folgenden Formate für Sprachcodes.
- Codes nach ISO 639-1 wie
en,esundfr. - Ausgewählte Codes nach ISO 639-3 wie
eng,spa,yueundcmn. - Regionale Gebietsschemacodes für
zhwiezh-cn,zh-twundzh-hk.
Die Realtime API lehnt nicht unterstützte oder falsch formatierte Sprachcodes ab.
Schlüsselwörter dienen als Hinweise. Sie müssen nicht im Transkript erscheinen. Schreibe jedes Schlüsselwort in eine einzige Zeile. Die Zeichen < und > sowie Wagenrücklauf und Zeilenvorschub sind darin unzulässig. Die Realtime API lehnt die Sitzungsaktualisierung ab, wenn ein Schlüsselwort eines dieser Zeichen enthält oder prompt die für das Modell zulässige Länge überschreitet.
gpt-live-transcribe verwendet languages anstelle des Felds language im Singular. Sende nicht beide Felder.
Einen Redebeitrag nach dem Commit transkribieren
Verwende gpt-transcribe in einer Realtime-Sitzung nur, wenn die Transkription erst nach dem Commit für einen Redebeitrag beginnen soll oder wenn du die erkannten Sprachen in der Ausgabe benötigst. Dieses Verfahren erfordert eine WebSocket-Verbindung.
Wenn gpt-transcribe Audioeingaben in einer Sitzung der Realtime API transkribiert oder in einer eigenen Transkriptionssitzung läuft, nutzt es zuvor transkribierte Redebeiträge automatisch als Kontext.
{
"type": "session.update",
"session": {
"type": "transcription",
"audio": {
"input": {
"format": {
"type": "audio/pcm",
"rate": 24000
},
"transcription": {
"model": "gpt-transcribe"
},
"turn_detection": null
}
}
}
}Hänge Audiodaten an den Puffer an und sende input_audio_buffer.commit. Das Modell kann dann schon vor dem Abschlussereignis Textfragmente ausgeben. Das Abschlussereignis enthält auch die erkannten Sprachen.
{
"type": "conversation.item.input_audio_transcription.completed",
"item_id": "item_003",
"content_index": 0,
"transcript": "Bonjour, pouvez-vous m'entendre ?",
"languages": [{ "code": "fr" }]
}
Wenn gpt-transcribe die Sprache nicht zuverlässig erkennen kann, ist languages ein leeres Array. gpt-live-transcribe gibt keine Angaben zur erkannten Sprache zurück.
Latenz und Genauigkeit abstimmen
Bei der Streaming-Transkription wägst du Latenz und Transkriptqualität gegeneinander ab. Mit einer kürzeren Verzögerung können erste Textfragmente früher vorliegen. Bei längerer Verzögerung steht dem Modell vor der Textausgabe mehr Audiokontext zur Verfügung. Dadurch kann die Wortfehlerrate sinken.
Lege zunächst audio.input.transcription.delay fest und teste die Einstellung mit echten Audiodaten aus deinem Anwendungsfall. Für den Einstieg eignen sich folgende Einstellungen.
minimalfür Interaktionen, bei denen es besonders auf kurze Reaktionszeiten ankommtlowfür Live-Untertitel mit geringer Latenzmediumfür ein ausgewogenes Verhältnis von Latenz und Genauigkeithigh, wenn Genauigkeit wichtiger ist als die sofortige Anzeigexhigh, wenn dein Ablauf die längste Verzögerung zulässt, damit das Modell mehr Kontext erhält
Die genaue Verzögerung in Millisekunden kann je nach Modellkonfiguration variieren. Miss sie deshalb mit repräsentativen Audiodaten, statt für jede Stufe einen festen Wert anzunehmen.
Stütze deine Wahl nicht allein auf synthetische Audiodaten. Teste mit typischen Mikrofonen, Telefonaufnahmen, unterschiedlichen Akzenten, Hintergrundgeräuschen, Sprachwechseln, Fachvokabular und langen Sitzungen.
Konfidenzwerte, Zeitstempel und Sprecherkennzeichnungen berücksichtigen
gpt-live-transcribe liefert keine Zeitstempel für einzelne Wörter, keine Sprecherkennzeichnungen und keine Konfidenzwerte für die Transkription. Wenn deine Anwendung Zeitstempel oder Sprecherkennzeichnungen benötigt, verwende ein kompatibles Modell für die Dateitranskription oder implementiere eine Ausweichlösung in deiner Anwendung.
Checkliste für den Produktivbetrieb
- Lege vor der Feinabstimmung die angestrebte Latenz und einen Schwellenwert für die Genauigkeit fest.
- Teste mit echten Audiodaten aus dem Produktivbetrieb. Saubere Beispielaufnahmen allein reichen nicht aus.
- Teste jede Zielsprache.
- Nimm Zahlen, Datumsangaben, Währungsangaben, E-Mail-Adressen, Produktnamen und Fachbegriffe in deinen Testdatensatz auf.
- Erfasse leere, abgeschnittene und verspätete Transkripte getrennt von der Wortfehlerrate.
- Lege fest, wie deine Benutzeroberfläche bereits angezeigte Textfragmente aktualisieren soll, wenn spätere Delta-Ereignisse den Text korrigieren.
- Verwende
item_id, um die endgültigen Transkripte zu ordnen und abzugleichen. - Halte eine Ausweichlösung für den Fall bereit, dass Zeitstempel, Sprecherkennzeichnungen oder Felder für Konfidenzwerte nicht unterstützt werden.
Weiterführende Anleitungen
Vergleiche Sitzungen für Sprachagenten, Übersetzung und Transkription.
Übersetze gesprochene Sprache live in einer eigenen Übersetzungssitzung.
Streame Audio-Rohdaten über eine serverseitige Medienpipeline.
Konfiguriere die Erkennung von Redebeiträgen in Live-Audiostreams.