如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

自訂聲音

根據文字描述或經授權的錄音建立自訂聲音。

你可以為智慧體或應用程式建立自訂聲音。請選擇建立方式:

若要選用 GPT-Live 的現有聲音,請參閱聲音選項。

根據描述建立聲音

使用提示詞生成聲音時,系統會根據文字描述建立並儲存聲音。這個流程無須提供參考錄音或同意錄音。

使用提示詞生成聲音的功能已全面開放給所有 API 客戶。以提示詞生成的聲音可用於 GPT-Live。文字轉語音 API、Realtime API 和 Chat Completions API 均不支援這類聲音。

負責任地使用聲音

  • 負責任地使用聲音。 請勿冒充他人或違反我們的使用政策。
  • 使用成人聲音。 不得使用兒童聲音。
  • 讓聽眾知道語音的來源。 告知聽眾語音由 AI 生成,並保留來源中繼資料、浮水印,以及其他可辨識合成語音的標記。
  • 無法保證聲音獨一無二。 其他人可能生成相似的聲音或輸出內容。你對輸出內容的所有權仍依你與 OpenAI 簽訂的協議而定。
  • 服務條款 適用於你和你的終端使用者以提示詞生成聲音的行為。

建立並儲存聲音

你可以透過 API 或在語音 Playground 中建立聲音。使用提示詞建立聲音是免費的。在 GPT-Live 中使用該聲音生成語音,則按一般工作階段費率計費。

向 /v1/audio/voices 傳送 JSON 請求,並在請求中將 type 設為 prompt:

curl --fail-with-body https://api.openai.com/v1/audio/voices \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "type": "prompt",
    "name": "Support assistant",
    "prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
    "model": "auto"
  }' \
  -o voice.json

script_hint 是選用欄位,可填入範例講稿,引導聲音生成。若省略此欄位,服務會根據你的聲音描述生成講稿。若要自行提供講稿,請填入能代表實際說話內容的文字,最多 2,000 個字元。服務會拒絕空白或過短的講稿。

每次請求成功,系統都會建立並儲存一個新聲音。回應中的中繼資料包括聲音 ID、以 Unix 時間戳記(秒)表示的建立時間,以及最初用來描述聲音的提示詞。回應不含音訊或試聽片段:

{
  "object": "audio.voice",
  "id": "voice_123",
  "name": "Support assistant",
  "created_at": 0,
  "type": "prompt",
  "prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace."
}

儲存傳回的 id,並保留原始聲音提示詞。若想在其他工作階段使用相同的聲音,請重複使用已儲存的聲音。每個組織最多可使用提示詞生成 100 個聲音。應用程式為客戶建立的聲音也計入這項上限。

描述聲音

用日常用語描述聲音的特質。例如:

請為客服助理使用沉穩、讓人安心的成人聲音。
用美式英語口音說話,音高適中,音色圓潤溫暖。語速保持平穩,像平常交談一樣自然。

下表列出可描述的特質及措辭範例。請把這些描述寫在提示詞中,API 沒有為各項特質提供獨立參數:

特質 描述重點 措辭範例
口音 地區發音特色和口音輕重 美式英語,口音濃厚
年齡 說話者聽起來的年齡 三十多歲的成人
聲音形象 聲音給人的印象 聽起來偏女性
音高 聲音的高低 音高適中
音色 聲音本身的色彩 圓潤飽滿
質地 聲音是否粗糙、沙啞或清晰 圓潤
響度 發聲時的力道 力道適中
語速 說話的快慢 語速適中
辨識度 希望聲音的個人特色有多明顯 有一定的辨識度

請直接描述你想要的特質。請勿要求模仿指名的人士、公眾人物或虛構角色。不得使用兒童聲音,請描述成人聲音。

聲音描述範例

你可以從這些描述著手,再到應用程式中試聽生成的聲音。

沉穩的助理

請用溫暖的成人聲音說話,音高適中,音色圓潤飽滿。
發聲力道適中,說話時從容不迫,語氣讓人安心。

活潑的導覽員

請用明亮、清晰的成人聲音說話,音高略高,音色稍帶顆粒感。
說話時像聊天一樣自然活潑,節奏輕快,但要讓聽眾容易跟上。

請將對話規則寫在 GPT-Live 工作階段指示中,例如回覆長度、如何處理打斷對話的情況,以及何時委派任務。

在 GPT-Live 中試聽聲音

在 Playground 中試聽聲音時,系統會執行 GPT-Live 工作階段,並按一般工作階段費率計費。

將 session.audio.output.voice.id 設為傳回的聲音 ID。為了讓聲音表現符合預期,請在 session.instructions 中一併提供原始聲音描述和應用程式的對話指示。

將 voice_123 替換為建立聲音時傳回的 ID:

{
  "model": "gpt-live-1",
  "instructions": "You are a helpful voice assistant. A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
  "audio": { "output": { "voice": { "id": "voice_123" } } }
}

若使用 WebRTC,請將這項設定放入 JSON 的 session 欄位,並在該欄位的同一層級提供 transport。若使用 WebSockets,請在第一個 session.start 事件中加入這項設定。依照連線指南傳送音訊並試聽聲音。請在工作階段開始時選定聲音。若要試用其他聲音,請開啟新的工作階段。

透過 /v1/audio/voices 建立聲音時不支援零資料保留,根據錄音建立聲音也一樣。如果組織或專案已啟用零資料保留,GPT-Live 的語音生成作業可適用這項設定。啟用零資料保留時,無法儲存工作階段錄音、下載錄音或從現有工作階段建立分支。關於工作階段的儲存與保留要求,請參閱資料控制項。

調整並重複使用聲音

每次只調整一項特質,並使用相同的短文和幾輪對話比較結果。試聽時,留意口音、語速和應用程式所需的其他特質。保留你偏好的聲音 ID,供日後重複使用。

每次送出建立請求都會儲存一個新聲音。若要試用另一個已儲存的聲音,請使用該聲音的 ID 開啟新的 GPT-Live 工作階段。

根據錄音建立聲音

若要根據錄音建立聲音,請提供一小段參考音訊,模型會盡可能重現樣本中的聲音。

只有符合資格的客戶才能根據錄音建立自訂聲音。詳情請聯絡我們的業務團隊。你的組織獲得這項功能的使用權後,即可在 Audio 下開啟 Voices 分頁。

準備並上傳錄音

根據錄音建立聲音時,必須透過 API 傳送請求。完整的 API 操作請參閱 API 參考文件。

根據錄音建立聲音需要兩段獨立的錄音:

  1. 同意錄音: 錄下配音者的聲明,表明本人同意建立能重現其聲音的合成聲音。配音者必須朗讀下方其中一則同意聲明。
  2. 樣本錄音: 提供實際的音訊樣本,模型會盡量依照樣本重現聲音。樣本中的聲音必須與同意錄音中的聲音相符。

建立高品質聲音的錄音技巧

自訂聲音的品質很大程度取決於你提供的樣本。改善錄音品質可以大幅提升效果。

  • 在安靜且回音少的空間錄音。
  • 使用專業的 XLR 麥克風。
  • 與麥克風保持約 7–8 英吋的距離,在中間放置防噴罩,並在錄音過程中維持相同距離。
  • 模型會照著樣本重現語氣、節奏、說話時的活力、停頓和說話習慣,因此請直接錄下你想要的聲音。整段錄音的活力、風格和口音都應保持一致。
  • 音訊樣本的細微變化也可能影響生成聲音的品質。請嘗試多個樣本,找出最合適的一個。

要求與限制

  • 每個組織最多可根據錄音建立 20 個聲音。
  • 音訊樣本長度不得超過 60 秒。
  • 音訊樣本必須使用下列其中一種格式:mpeg、wav、ogg、aac、flac、webm 或 mp4。

其他使用條款請參閱《文字轉語音補充協議》。

建立聲音使用同意紀錄

同意錄音只能包含下列其中一則聲明。朗讀內容只要與原文有任何出入,就無法通過驗證。

語言 聲明
德文 (de) Ich bin der Eigentümer dieser Stimme und bin damit einverstanden, dass OpenAI diese Stimme zur Erstellung eines synthetischen Stimmmodells verwendet.
英文 (en) I am the owner of this voice and I consent to OpenAI using this voice to create a synthetic voice model.
西班牙文 (es) Soy el propietario de esta voz y doy mi consentimiento para que OpenAI la utilice para crear un modelo de voz sintética.
法文 (fr) Je suis le propriétaire de cette voix et j’autorise OpenAI à utiliser cette voix pour créer un modèle de voix synthétique.
印地文 (hi) मैं इस आवाज का मालिक हूं और मैं सिंथेटिक आवाज मॉडल बनाने के लिए OpenAI को इस आवाज का उपयोग करने की सहमति देता हूं
印尼文 (id) Saya adalah pemilik suara ini dan saya memberikan persetujuan kepada OpenAI untuk menggunakan suara ini guna membuat model suara sintetis.
義大利文 (it) Sono il proprietario di questa voce e acconsento che OpenAI la utilizzi per creare un modello di voce sintetica.
日文 (ja) 私はこの音声の所有者であり、OpenAIがこの音声を使用して音声合成 モデルを作成することを承認します。
韓文 (ko) 나는 이 음성의 소유자이며 OpenAI가 이 음성을 사용하여 음성 합성 모델을 생성할 것을 허용합니다.
荷蘭文 (nl) Ik ben de eigenaar van deze stem en ik geef OpenAI toestemming om deze stem te gebruiken om een synthetisch stemmodel te maken.
波蘭文 (pl) Jestem właścicielem tego głosu i wyrażam zgodę na wykorzystanie go przez OpenAI w celu utworzenia syntetycznego modelu głosu.
葡萄牙文 (pt) Eu sou o proprietário desta voz e autorizo o OpenAI a usá-la para criar um modelo de voz sintética.
俄文 (ru) Я являюсь владельцем этого голоса и даю согласие OpenAI на использование этого голоса для создания модели синтетического голоса.
烏克蘭文 (uk) Я є власником цього голосу і даю згоду OpenAI використовувати цей голос для створення синтетичної голосової моделі.
越南文 (vi) Tôi là chủ sở hữu giọng nói này và tôi đồng ý cho OpenAI sử dụng giọng nói này để tạo mô hình giọng nói tổng hợp.
中文 (zh) 我是此声音的拥有者并授权OpenAI使用此声音创建语音合成模型

接著透過 API 上傳同意錄音。上傳成功後,API 會傳回同意錄音 ID,供後續步驟使用。如果同一位配音者多次嘗試建立聲音,可以重複使用同一筆同意紀錄。

curl https://api.openai.com/v1/audio/voice_consents \
  -X POST \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "name=test_consent" \
  -F "language=en" \
  -F "recording=@$HOME/tmp/voice_consent/consent_recording.wav;type=audio/x-wav"

建立聲音

接著,使用同意錄音 ID 並提供聲音樣本,即可建立聲音。

curl https://api.openai.com/v1/audio/voices \
  -X POST \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "name=test_voice" \
  -F "audio_sample=@$HOME/tmp/voice_consent/audio_sample_recording.wav;type=audio/x-wav" \
  -F "consent=cons_123abc"

成功建立後,你會在 Audio 分頁中看到新聲音。

使用根據錄音建立的聲音生成語音

搭配使用 gpt-realtime-2.1-mini 和 Realtime API,就能以自訂聲音生成語音。在工作階段傳回第一個音訊回應之前,請將 session.audio.output.voice 設為包含聲音 ID 的物件。

設定 Realtime 工作階段

建立 Realtime 用戶端密鑰時,請使用下列請求本文,再依照 WebRTC 連線指南使用該密鑰連線。將 voice_123abc 替換為建立聲音時傳回的 ID:

const sessionConfig = JSON.stringify({
  session: {
    type: "realtime",
    model: "gpt-realtime-2.1-mini",
    instructions: "Read the user's text aloud without adding commentary.",
    output_modalities: ["audio"],
    audio: {
      output: {
        voice: { id: "voice_123abc" },
      },
    },
  },
});

若要將文字轉成語音,請先新增一則包含該段文字的使用者訊息,再傳送 response.create,並將該事件的 output_modalities 設為 ["audio"]。工作階段指示會要求模型朗讀提供的文字。請透過 WebRTC 音軌接收生成的音訊,詳見使用 WebRTC 處理音訊。

在 GPT-Live 中使用根據錄音建立的聲音

請使用限定於單一專案、且已獲准使用 GPT-Live 和建立自訂聲音的 API 金鑰。讀取同意聲明和使用自訂聲音需要 api.voices.read 權限。建立同意紀錄和聲音則需要 api.voices.write 權限,以及自訂聲音 API 的存取權。所有請求都必須使用同一個專案,並將 API 金鑰存放在受信任的伺服器上。

準備錄音

錄音前,請先列出目前支援的同意聲明:

curl https://api.openai.com/v1/audio/consent_phrases \
  -H "Authorization: Bearer $OPENAI_API_KEY"

同意錄音和參考樣本中的說話者必須是同一人。扣除靜音後,樣本必須包含至少 5 秒的實際說話內容,轉錄後的文字也必須至少有 15 個 Token。請使用長度為 10–60 秒、包含數個完整句子的錄音。每次上傳的大小上限為 10 MiB。服務會從錄音中擷取參考逐字稿。

瀏覽器的錄音工具可能將音訊標示為 audio/webm;codecs=opus,而上傳端點會拒絕這個類型。建立上傳請求時,請使用支援的基本 MIME 類型 audio/webm,並保留原始音訊的位元組。使用前述請求建立同意紀錄和聲音,再儲存傳回的聲音 ID。

建立工作階段時選擇聲音

自訂聲音請以物件傳入,例如 { "id": "voice_123" }。具名聲音則使用字串,例如 "marin"。

gpt-live-1 支援帶有不同英語口音的自訂聲音。若要使用特定口音,也請在 session.instructions 中指定,例如「請說英式英語」或「請說愛爾蘭英語」。下方範例使用英式英語,請依自訂聲音所需的口音調整指示。

初始化工作階段時,請加入下列設定:

{
  "model": "gpt-live-1",
  "instructions": "You are a helpful voice assistant. Speak British English.",
  "audio": { "output": { "voice": { "id": "voice_123" } } }
}

若使用 WebRTC,請讓應用程式伺服器將這項設定放入 JSON 的 session 欄位,並在該欄位的同一層級提供 transport。使用應用程式憑證驗證傳送至伺服器的請求,並將 OpenAI API 金鑰存放在伺服器上。

若使用 WebSockets,請在第一個 session.start 事件中加入這項設定。依照連線指南串流傳輸音訊並關閉工作階段。

處理存取與生命週期錯誤

  • 建立工作階段時就要選定聲音。若要改用其他聲音,請開啟新的工作階段。
  • 如果聲音已刪除或撤銷、同意紀錄屬於其他專案,或專案缺少自訂聲音存取權,API 可能會傳回 404。
  • 如果音訊格式有誤、兩段錄音的說話者不同,或金鑰並未限定於單一專案,請求就會遭到拒絕。

建立聲音前,請確認專案權限、錄音的最低要求和上傳限制。工作階段的設定要求請參閱 GPT-Live 入門指南。