Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du
.md an die URL der Seite anhängst.
Nutze die Dateitranskription, wenn die Aufnahme abgeschlossen ist oder du einen zeitlich begrenzten Audioausschnitt in einer Anfrage sendest. Lade die Audiodaten hoch, um das fertige Transkript zu erhalten. Du kannst den Text auch streamen, während das Modell die Datei verarbeitet.
Beginne mit gpt-transcribe. Dieses Modell wird empfohlen, um aufgezeichnete Sprache in der Originalsprache zu transkribieren. Die folgenden Beispiele zur Zuordnung von Redebeiträgen, zu Zeitstempeln für einzelne Wörter und zu Untertitelformaten verwenden veraltete Modelle.
whisper-1, gpt-4o-transcribe, gpt-4o-mini-transcribe,
gpt-4o-transcribe-diarize und /v1/audio/translations sind veraltet und werden am 26. Februar 2027 abgeschaltet. Lies den Hinweis zur Einstellung und wähle ein aktuelles Verfahren zur Transkription. Die folgenden Beispiele zeigen, welche speziellen Funktionen bestehende Integrationen bis zur Abschaltung nutzen können.
Dateien dürfen bis zu 25 MB groß sein. Zu den unterstützten Eingabeformaten gehören flac, mp3, mp4, mpeg, mpga, m4a, ogg, wav und webm.
Wenn laufend Audiodaten von einem Mikrofon, aus einem Anruf oder einem Medienstream eintreffen, nutze die Echtzeittranskription.
Schnellstart
Transkriptionen
Sende die Audiodatei an /v1/audio/transcriptions und gib gpt-transcribe als Modell an.
Audiodatei transkribieren
Python
1
2
3
4
5
6
7
8
9
10
11import fs from "fs";import OpenAI from "openai";const openai = new OpenAI();const transcription = await openai.audio.transcriptions.create({ file: fs.createReadStream("fixtures/audio.wav"), model: "gpt-transcribe",});console.log(transcription.text);
Wenn das Modell die Sprache nicht zuverlässig erkennt, gibt es "languages": [] zurück. Alle Felder für Anfragen und Antworten findest du in der Referenz zur Audio-API.
Kontext für die Transkription angeben
Verwende prompt, keywords und languages mit gpt-transcribe, damit das Modell Fachbegriffe und mehrsprachige Aufnahmen genauer transkribiert.
Kontext und Hinweise zu den Sprachen angeben
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20import fs from "fs";import OpenAI from "openai";const openai = new OpenAI();const request = { model: "gpt-transcribe", file: fs.createReadStream("fixtures/audio.wav"), prompt: "A customer support call about a premium plan and account AC-42.",};const transcription = await openai.audio.transcriptions.create(request, { body: { ...request, keywords: ["premium plan", "AC-42", "billing"], languages: ["en", "fr"], },});console.log(transcription.text);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16from openai import OpenAIclient = OpenAI()withopen("meeting.wav", "rb") as audio_file: transcription = client.audio.transcriptions.create(model="gpt-transcribe",file=audio_file,prompt="A customer support call about a premium plan and account AC-42.",extra_body={"keywords": ["premium plan", "AC-42", "billing"],"languages": ["en", "fr"], }, )print(transcription.text)
Beschreibe mit prompt den Kontext der Aufnahme in freier Form.
Gib mit keywords die genauen Begriffe an, die du in der Aufnahme erwartest.
Gib mit languages die erwarteten Eingabesprachen an.
Schlüsselwörter dienen als Hinweise. Sie müssen im Transkript nicht vorkommen. Gib nur relevante Begriffe an und prüfe, ob sie die Genauigkeit verbessern, ohne dass ungesprochene Begriffe im Transkript erscheinen.
Bei gpt-transcribe ersetzt languages das bisherige Feld language für eine einzelne Sprache. Sende nicht beide Felder. Schreibe jedes Schlüsselwort in eine einzige Zeile. Es darf weder < noch > noch einen Wagenrücklauf oder einen Zeilenvorschub enthalten. Die API lehnt die gesamte Anfrage ab, wenn sie eines dieser Zeichen findet oder wenn prompt die Längenbegrenzung des Modells überschreitet.
Sprecherzuordnung
Bestehende Integrationen können das veraltete Modell gpt-4o-transcribe-diarize bis zum 26. Februar 2027 nutzen, um zu erkennen, wer in welchem Abschnitt einer Aufnahme spricht. Das Modell ist auf die Zuordnung von Redebeiträgen spezialisiert. Für die gewöhnliche Dateitranskription wird es nicht empfohlen.
Fordere das Antwortformat diarized_json an, um Segmente mit den Metadaten speaker, start und end zu erhalten. Setze bei Aufnahmen von mehr als 30 Sekunden chunking_strategy auf "auto" oder gib für diesen Parameter eine Konfiguration zur Erkennung von Sprachaktivität an.
Optional kannst du mit known_speaker_names[] und known_speaker_references[] bis zu vier kurze Referenzaufnahmen angeben, um die Segmente bekannten Personen zuzuordnen. Verwende dafür Ausschnitte von 2 bis 10 Sekunden in einem der Eingabeformate, die für die eigentliche Audiodatei unterstützt werden. Wenn du mehrteilige Formulardaten verwendest, kodiere die Ausschnitte als Daten-URLs.
Redebeiträge in einer Besprechungsaufnahme zuordnen
Bei stream=true enthält der Antwortstream mit Sprecherzuordnung für jedes abgeschlossene Segment ein Ereignis vom Typ transcript.text.segment. Ereignisse vom Typ transcript.text.delta enthalten das Feld segment_id, aber keine vorläufige Sprecherzuordnung. Erst wenn das Modell das Segment abschließt, ordnet es ihm eine Person zu.
Die Sprecherzuordnung ist über /v1/audio/transcriptions verfügbar. Sitzungen zur Echtzeittranskription unterstützen sie nicht.
Übersetzungen
Der veraltete Endpunkt /v1/audio/translations verwendet whisper-1, um abgeschlossene Audioaufnahmen ins Englische zu übersetzen. Er bleibt bis zum 26. Februar 2027 verfügbar. Bei der Transkription bleibt die Originalsprache der Aufnahme erhalten. Dieser Endpunkt gibt ausschließlich englischen Text zurück.
Wechsle zur Echtzeitübersetzung mit gpt-realtime-translate am Endpunkt /v1/realtime/translations. Dafür musst du eine Übersetzungssitzung starten, die Audiodaten als Stream senden und Übersetzungsereignisse verarbeiten. Für die Umstellung reicht es nicht aus, in einer Anfrage an /v1/audio/translations nur die Modell-ID zu ändern.
Unterstützte Sprachen
Verwende languages mit gpt-transcribe, wenn du weißt, welche Sprachen in der Aufnahme zu erwarten sind. Zu den unterstützten Formaten für Sprachcodes gehören:
Codes nach ISO 639-1 wie en, es und fr.
Ausgewählte Codes nach ISO 639-3 wie eng, spa, yue und cmn.
Regionale Gebietsschemacodes für zh wie zh-cn, zh-tw und zh-hk.
Die API lehnt nicht unterstützte oder falsch formatierte Sprachcodes ab. Die Antwort nennt außerdem alle Sprachen, die das Modell zuverlässig erkennt.
Für whisper-1 findest du die unterstützten Sprachen in der Sprachliste von Whisper. Whisper unterstützt 98 Sprachen. Die Genauigkeit variiert je nach Sprache. Bestehende Modelle, die nur einen Sprachhinweis akzeptieren, verwenden language anstelle von languages.
Zeitstempel
Bestehende Integrationen können das veraltete Modell whisper-1 bis zum 26. Februar 2027 für Zeitstempel auf Wort- oder Segmentebene nutzen. Mit dem Parameter timestamp_granularities[] erhältst du strukturierte Zeitstempeldaten für die Untertitelung und den Videoschnitt.
Der Parameter timestamp_granularities[] ist nur für whisper-1 verfügbar.
Längere Aufnahmen
Die Transcriptions API akzeptiert Dateien bis zu 25 MB. Verwende für größere Aufnahmen ein komprimiertes Audioformat oder teile die Datei in Abschnitte von jeweils höchstens 25 MB auf. Trenne die Aufnahme möglichst an Satzgrenzen. Wenn du einen Satz teilst, kann Kontext verloren gehen und die Transkription ungenauer werden.
OpenAI übernimmt keine Garantie für die Nutzbarkeit oder Sicherheit von Drittanbietersoftware wie PyDub.
Prompts verwenden
Mit einem Prompt kannst du dem Modell helfen, Namen, Akronyme und Begriffe aus der Aufnahme zu erkennen und die gewünschte Formatierung zu verwenden. Kombiniere den Prompt bei gpt-transcribe mit den Parametern keywords und languages aus dem Abschnitt Kontext für die Transkription angeben.
Bestehende Integrationen mit gpt-4o-transcribe und gpt-4o-mini-transcribe unterstützen ebenfalls Prompts. gpt-4o-transcribe-diarize unterstützt keine Prompts.
Mit Prompts kannst du beispielsweise:
Produktnamen, Fachbegriffe und Akronyme korrekt transkribieren lassen.
Kontext aus einem früheren Abschnitt einer längeren Aufnahme übernehmen.
Zeichensetzung, Groß- und Kleinschreibung sowie Füllwörter beibehalten.
Das bevorzugte Schriftsystem für eine Sprache auswählen.
Bei whisper-1 sind Prompts auf 224 Token begrenzt und bieten weniger Steuerungsmöglichkeiten als beim empfohlenen Transkriptionsmodell. Wenn du für deinen Workflow Whisper benötigst, lies den Abschnitt Zuverlässigkeit verbessern.
Transkriptionen streamen
Bei der Dateitranskription kannst du den Text abschnittsweise als Stream empfangen, während das Modell eine abgeschlossene Aufnahme verarbeitet. Dafür brauchst du keine Echtzeitsitzung.
Transkription einer abgeschlossenen Audioaufnahme streamen
Setze stream=true, wenn du gpt-transcribe verwendest. Während das Modell die einzelnen Abschnitte der Aufnahme transkribiert, gibt die Transcriptions API Transkriptereignisse zurück.
Während der Transkription sendet das Modell Ereignisse vom Typ transcript.text.delta. Anschließend gibt es das vollständige Transkript in einem abschließenden Ereignis vom Typ transcript.text.done zurück. Bei der Transkription mit Sprecherzuordnung und response_format="diarized_json" sendet das darauf spezialisierte Modell zusätzlich ein Ereignis vom Typ transcript.text.segment, sobald es ein Segment abschließt.
Bei gpt-transcribe enthält das abschließende Ereignis auch die erkannten Sprachen.
Bestehende Integrationen mit gpt-4o-transcribe, gpt-4o-mini-transcribe und gpt-4o-transcribe-diarize unterstützen ebenfalls das Streaming von Dateitranskriptionen. whisper-1 unterstützt diese Funktion nicht.
Transkription einer laufenden Audioaufnahme streamen
Für Live-Audio von einem Mikrofon, aus einem Anruf oder einem Medienstream folge der Anleitung zur Echtzeittranskription anstelle des oben beschriebenen Verfahrens für Dateien. Die Anleitung beschreibt den aktuellen Ablauf einer Transkriptionssitzung und das empfohlene Echtzeitverfahren mit gpt-live-transcribe.
Zuverlässigkeit verbessern
Wenn du whisper-1 für Zeitstempel, Untertitel oder Übersetzungen verwendest, können die folgenden Verfahren helfen, seltene Wörter und Akronyme zuverlässiger zu erkennen. Für neue Integrationen zur allgemeinen Transkription beginne mit gpt-transcribe und gib stattdessen Kontext für die Transkription an.
Beim ersten Verfahren übergibst du über den optionalen Prompt-Parameter eine Liste der Begriffe in der richtigen Schreibweise.
Whisper befolgt Anweisungen nicht auf die gleiche Weise wie ein universell einsetzbares Textmodell und akzeptiert Prompts mit bis zu 224 Token.
Dieses Verfahren verbessert die Zuverlässigkeit. Wegen der Begrenzung auf 224 Token lässt es sich nur dann in größerem Umfang einsetzen, wenn deine Liste mit Artikelnummern (SKUs) relativ kurz bleibt.
Beim zweiten Verfahren bearbeitest du das Transkript mit einem Textmodell nach.
Übergib deine Anweisungen über die Variable system_prompt. Wie beim Transkriptionsprompt kannst du auch hier Unternehmens- und Produktnamen angeben.
Nachbearbeitung
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28const systemPrompt = `You are a helpful assistant for the company ZyntriQix. Your task isto correct any spelling discrepancies in the transcribed text. Makesure that the names of the following products are spelled correctly:ZyntriQix, Digique Plus, CynapseFive, VortiQore V8, EchoNix Array,OrbitalLink Seven, DigiFractal Matrix, PULSE, RAPT, B.R.I.C.K.,Q.U.A.R.T.Z., F.L.I.N.T. Only add necessary punctuation such asperiods, commas, and capitalization, and use only the context provided.`;const transcript = await transcribe(audioFile);const completion = await openai.chat.completions.create({ model: "gpt-4.1", temperature: temperature, messages: [ { role: "system", content: systemPrompt, }, { role: "user", content: transcript, }, ], store: true,});console.log(completion.choices[0].message.content);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24system_prompt ="""You are a helpful assistant for the company ZyntriQix. Your task is to correctany spelling discrepancies in the transcribed text. Make sure that the names ofthe following products are spelled correctly: ZyntriQix, Digique Plus,CynapseFive, VortiQore V8, EchoNix Array, OrbitalLink Seven, DigiFractalMatrix, PULSE, RAPT, B.R.I.C.K., Q.U.A.R.T.Z., F.L.I.N.T. Only add necessarypunctuation such as periods, commas, and capitalization, and use only thecontext provided."""defgenerate_corrected_transcript(temperature, system_prompt, audio_file): response = client.chat.completions.create(model="gpt-4.1",temperature=temperature,messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": transcribe(audio_file, "")}, ], )return response.choices[0].message.contentcorrected_text = generate_corrected_transcript(0, system_prompt, fake_company_filepath)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49package mainimport ( "context" "fmt" "os" "github.com/openai/openai-go/v3")const systemPrompt = `You are a helpful assistant for the company ZyntriQix. Your task isto correct any spelling discrepancies in the transcribed text. Makesure that the names of the following products are spelled correctly:ZyntriQix, Digique Plus, CynapseFive, VortiQore V8, EchoNix Array,OrbitalLink Seven, DigiFractal Matrix, PULSE, RAPT, B.R.I.C.K.,Q.U.A.R.T.Z., F.L.I.N.T. Only add necessary punctuation such asperiods, commas, and capitalization, and use only the context provided.`func main() { file, err := os.Open("fixtures/speech.wav") if err != nil { panic(err) } defer file.Close() client := openai.NewClient() transcription, err := client.Audio.Transcriptions.New(context.Background(), openai.AudioTranscriptionNewParams{ File: file, Model: openai.AudioModelGPT4oTranscribe, }) if err != nil { panic(err) } completion, err := client.Chat.Completions.New(context.Background(), openai.ChatCompletionNewParams{ Model: "gpt-4.1", Temperature: openai.Float(0), Messages: []openai.ChatCompletionMessageParamUnion{ openai.SystemMessage(systemPrompt), openai.UserMessage(transcription.Text), }, Store: openai.Bool(true), }) if err != nil { panic(err) } fmt.Println(completion.Choices[0].Message.Content)}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42import com.openai.client.OpenAIClient;import com.openai.client.okhttp.OpenAIOkHttpClient;import com.openai.models.audio.transcriptions.TranscriptionCreateParams;import com.openai.models.chat.completions.ChatCompletionCreateParams;import java.nio.file.Path;String systemPrompt = """ You are a helpful assistant for the company ZyntriQix. Your task is to correct any spelling discrepancies in the transcribed text. Make sure that the names of the following products are spelled correctly: ZyntriQix, Digique Plus, CynapseFive, VortiQore V8, EchoNix Array, OrbitalLink Seven, DigiFractal Matrix, PULSE, RAPT, B.R.I.C.K., Q.U.A.R.T.Z., F.L.I.N.T. Only add necessary punctuation such as periods, commas, and capitalization, and use only the context provided. """;var result = client .audio() .transcriptions() .create( TranscriptionCreateParams.builder() .file(Path.of(System.getenv("OPENAI_EXAMPLE_AUDIO_PATH"))) .model("gpt-4o-transcribe") .build());var completion = client .chat() .completions() .create( ChatCompletionCreateParams.builder() .model("gpt-4.1") .temperature(0.0) .store(true) .addSystemMessage(systemPrompt) .addUserMessage(result.asTranscription().text()) .build());completion.choices().stream() .flatMap(choice -> choice.message().content().stream()) .forEach(System.out::println);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32using OpenAI.Audio;using OpenAI.Chat;string key = Environment.GetEnvironmentVariable("OPENAI_API_KEY")!;string model = "gpt-4.1";ChatClient client = new(model, key);string transcriptionModel = "gpt-4o-transcribe";AudioClient audio = new(transcriptionModel, key);await using FileStream source = File.OpenRead("speech.wav");AudioTranscription transcription = await audio.TranscribeAudioAsync(source, "speech.wav");string systemPrompt = """ You are a helpful assistant for the company ZyntriQix. Correct any spelling discrepancies in the transcribed text. Make sure the names of these products are spelled correctly: ZyntriQix, Digique Plus, CynapseFive, VortiQore V8, EchoNix Array, OrbitalLink Seven, DigiFractal Matrix, PULSE, RAPT, B.R.I.C.K., Q.U.A.R.T.Z., F.L.I.N.T. Only add necessary punctuation such as periods, commas, and capitalization, and use only the context provided. """;ChatCompletionOptions correctionOptions = new() { Temperature = 0 };ChatCompletion completion = await client.CompleteChatAsync( [ new SystemChatMessage(systemPrompt), new UserChatMessage(transcription.Text), ], correctionOptions);Console.WriteLine(completion.Content[0].Text);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17require "openai"require "pathname"client = OpenAI::Client.newaudio = Pathname("speech.wav")transcript = client.audio.transcriptions.create( file: audio, model: "gpt-4o-mini-transcribe")raise "Expected a JSON transcript response" if transcript.is_a?(StringIO)response = client.responses.create( model: "gpt-4.1", input: "Add punctuation and paragraph breaks without changing the words:\n#{transcript.text}")puts(response.output_text)
Ein Textmodell kann Schreibfehler korrigieren und längere Begriffslisten verarbeiten, als in einen Whisper-Prompt mit 224 Token passen. Gleiche die Korrekturen mit der Originalaufnahme ab, damit sie das Gesagte nicht verfälschen.