你可以為智慧體或應用程式建立自訂聲音。請選擇建立方式:
- 根據描述建立: 使用提示詞為 GPT-Live 生成聲音。在文字提示詞中描述你想要的聲音特質。
- 根據錄音建立: 提供一段同意錄音和一段簡短的參考錄音。以這種方式建立的聲音可用於 GPT-Live、文字轉語音 API、Realtime API 或支援音訊輸出的 Chat Completions API。
若要選用 GPT-Live 的現有聲音,請參閱聲音選項。
根據描述建立聲音
使用提示詞生成聲音時,系統會根據文字描述建立並儲存聲音。這個流程無須提供參考錄音或同意錄音。
使用提示詞生成聲音的功能已全面開放給所有 API 客戶。以提示詞生成的聲音可用於 GPT-Live。文字轉語音 API、Realtime API 和 Chat Completions API 均不支援這類聲音。
負責任地使用聲音
- 負責任地使用聲音。 請勿冒充他人或違反我們的使用政策。
- 使用成人聲音。 不得使用兒童聲音。
- 讓聽眾知道語音的來源。 告知聽眾語音由 AI 生成,並保留來源中繼資料、浮水印,以及其他可辨識合成語音的標記。
- 無法保證聲音獨一無二。 其他人可能生成相似的聲音或輸出內容。你對輸出內容的所有權仍依你與 OpenAI 簽訂的協議而定。
- 服務條款 適用於你和你的終端使用者以提示詞生成聲音的行為。
建立並儲存聲音
你可以透過 API 或在語音 Playground 中建立聲音。使用提示詞建立聲音是免費的。在 GPT-Live 中使用該聲音生成語音,則按一般工作階段費率計費。
向 /v1/audio/voices 傳送 JSON 請求,並在請求中將 type 設為 prompt:
curl --fail-with-body https://api.openai.com/v1/audio/voices \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"type": "prompt",
"name": "Support assistant",
"prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
"model": "auto"
}' \
-o voice.jsonscript_hint 是選用欄位,可填入範例講稿,引導聲音生成。若省略此欄位,服務會根據你的聲音描述生成講稿。若要自行提供講稿,請填入能代表實際說話內容的文字,最多 2,000 個字元。服務會拒絕空白或過短的講稿。
每次請求成功,系統都會建立並儲存一個新聲音。回應中的中繼資料包括聲音 ID、以 Unix 時間戳記(秒)表示的建立時間,以及最初用來描述聲音的提示詞。回應不含音訊或試聽片段:
{
"object": "audio.voice",
"id": "voice_123",
"name": "Support assistant",
"created_at": 0,
"type": "prompt",
"prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace."
}
儲存傳回的 id,並保留原始聲音提示詞。若想在其他工作階段使用相同的聲音,請重複使用已儲存的聲音。每個組織最多可使用提示詞生成 100 個聲音。應用程式為客戶建立的聲音也計入這項上限。
描述聲音
用日常用語描述聲音的特質。例如:
請為客服助理使用沉穩、讓人安心的成人聲音。
用美式英語口音說話,音高適中,音色圓潤溫暖。語速保持平穩,像平常交談一樣自然。
下表列出可描述的特質及措辭範例。請把這些描述寫在提示詞中,API 沒有為各項特質提供獨立參數:
| 特質 | 描述重點 | 措辭範例 |
|---|---|---|
| 口音 | 地區發音特色和口音輕重 | 美式英語,口音濃厚 |
| 年齡 | 說話者聽起來的年齡 | 三十多歲的成人 |
| 聲音形象 | 聲音給人的印象 | 聽起來偏女性 |
| 音高 | 聲音的高低 | 音高適中 |
| 音色 | 聲音本身的色彩 | 圓潤飽滿 |
| 質地 | 聲音是否粗糙、沙啞或清晰 | 圓潤 |
| 響度 | 發聲時的力道 | 力道適中 |
| 語速 | 說話的快慢 | 語速適中 |
| 辨識度 | 希望聲音的個人特色有多明顯 | 有一定的辨識度 |
請直接描述你想要的特質。請勿要求模仿指名的人士、公眾人物或虛構角色。不得使用兒童聲音,請描述成人聲音。
聲音描述範例
你可以從這些描述著手,再到應用程式中試聽生成的聲音。
沉穩的助理
請用溫暖的成人聲音說話,音高適中,音色圓潤飽滿。
發聲力道適中,說話時從容不迫,語氣讓人安心。
活潑的導覽員
請用明亮、清晰的成人聲音說話,音高略高,音色稍帶顆粒感。
說話時像聊天一樣自然活潑,節奏輕快,但要讓聽眾容易跟上。
請將對話規則寫在 GPT-Live 工作階段指示中,例如回覆長度、如何處理打斷對話的情況,以及何時委派任務。
在 GPT-Live 中試聽聲音
在 Playground 中試聽聲音時,系統會執行 GPT-Live 工作階段,並按一般工作階段費率計費。
將 session.audio.output.voice.id 設為傳回的聲音 ID。為了讓聲音表現符合預期,請在 session.instructions 中一併提供原始聲音描述和應用程式的對話指示。
將 voice_123 替換為建立聲音時傳回的 ID:
{
"model": "gpt-live-1",
"instructions": "You are a helpful voice assistant. A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
"audio": { "output": { "voice": { "id": "voice_123" } } }
}
若使用 WebRTC,請將這項設定放入 JSON 的 session 欄位,並在該欄位的同一層級提供 transport。若使用 WebSockets,請在第一個 session.start 事件中加入這項設定。依照連線指南傳送音訊並試聽聲音。請在工作階段開始時選定聲音。若要試用其他聲音,請開啟新的工作階段。
透過 /v1/audio/voices 建立聲音時不支援零資料保留,根據錄音建立聲音也一樣。如果組織或專案已啟用零資料保留,GPT-Live 的語音生成作業可適用這項設定。啟用零資料保留時,無法儲存工作階段錄音、下載錄音或從現有工作階段建立分支。關於工作階段的儲存與保留要求,請參閱資料控制項。
調整並重複使用聲音
每次只調整一項特質,並使用相同的短文和幾輪對話比較結果。試聽時,留意口音、語速和應用程式所需的其他特質。保留你偏好的聲音 ID,供日後重複使用。
每次送出建立請求都會儲存一個新聲音。若要試用另一個已儲存的聲音,請使用該聲音的 ID 開啟新的 GPT-Live 工作階段。
根據錄音建立聲音
若要根據錄音建立聲音,請提供一小段參考音訊,模型會盡可能重現樣本中的聲音。
準備並上傳錄音
根據錄音建立聲音時,必須透過 API 傳送請求。完整的 API 操作請參閱 API 參考文件。
根據錄音建立聲音需要兩段獨立的錄音:
- 同意錄音: 錄下配音者的聲明,表明本人同意建立能重現其聲音的合成聲音。配音者必須朗讀下方其中一則同意聲明。
- 樣本錄音: 提供實際的音訊樣本,模型會盡量依照樣本重現聲音。樣本中的聲音必須與同意錄音中的聲音相符。
建立高品質聲音的錄音技巧
自訂聲音的品質很大程度取決於你提供的樣本。改善錄音品質可以大幅提升效果。
- 在安靜且回音少的空間錄音。
- 使用專業的 XLR 麥克風。
- 與麥克風保持約 7–8 英吋的距離,在中間放置防噴罩,並在錄音過程中維持相同距離。
- 模型會照著樣本重現語氣、節奏、說話時的活力、停頓和說話習慣,因此請直接錄下你想要的聲音。整段錄音的活力、風格和口音都應保持一致。
- 音訊樣本的細微變化也可能影響生成聲音的品質。請嘗試多個樣本,找出最合適的一個。
要求與限制
- 每個組織最多可根據錄音建立 20 個聲音。
- 音訊樣本長度不得超過 60 秒。
- 音訊樣本必須使用下列其中一種格式:
mpeg、wav、ogg、aac、flac、webm或mp4。
其他使用條款請參閱《文字轉語音補充協議》。
建立聲音使用同意紀錄
同意錄音只能包含下列其中一則聲明。朗讀內容只要與原文有任何出入,就無法通過驗證。
| 語言 | 聲明 |
|---|---|
德文 (de) |
Ich bin der Eigentümer dieser Stimme und bin damit einverstanden, dass OpenAI diese Stimme zur Erstellung eines synthetischen Stimmmodells verwendet. |
英文 (en) |
I am the owner of this voice and I consent to OpenAI using this voice to create a synthetic voice model. |
西班牙文 (es) |
Soy el propietario de esta voz y doy mi consentimiento para que OpenAI la utilice para crear un modelo de voz sintética. |
法文 (fr) |
Je suis le propriétaire de cette voix et j’autorise OpenAI à utiliser cette voix pour créer un modèle de voix synthétique. |
印地文 (hi) |
मैं इस आवाज का मालिक हूं और मैं सिंथेटिक आवाज मॉडल बनाने के लिए OpenAI को इस आवाज का उपयोग करने की सहमति देता हूं |
印尼文 (id) |
Saya adalah pemilik suara ini dan saya memberikan persetujuan kepada OpenAI untuk menggunakan suara ini guna membuat model suara sintetis. |
義大利文 (it) |
Sono il proprietario di questa voce e acconsento che OpenAI la utilizzi per creare un modello di voce sintetica. |
日文 (ja) |
私はこの音声の所有者であり、OpenAIがこの音声を使用して音声合成 モデルを作成することを承認します。 |
韓文 (ko) |
나는 이 음성의 소유자이며 OpenAI가 이 음성을 사용하여 음성 합성 모델을 생성할 것을 허용합니다. |
荷蘭文 (nl) |
Ik ben de eigenaar van deze stem en ik geef OpenAI toestemming om deze stem te gebruiken om een synthetisch stemmodel te maken. |
波蘭文 (pl) |
Jestem właścicielem tego głosu i wyrażam zgodę na wykorzystanie go przez OpenAI w celu utworzenia syntetycznego modelu głosu. |
葡萄牙文 (pt) |
Eu sou o proprietário desta voz e autorizo o OpenAI a usá-la para criar um modelo de voz sintética. |
俄文 (ru) |
Я являюсь владельцем этого голоса и даю согласие OpenAI на использование этого голоса для создания модели синтетического голоса. |
烏克蘭文 (uk) |
Я є власником цього голосу і даю згоду OpenAI використовувати цей голос для створення синтетичної голосової моделі. |
越南文 (vi) |
Tôi là chủ sở hữu giọng nói này và tôi đồng ý cho OpenAI sử dụng giọng nói này để tạo mô hình giọng nói tổng hợp. |
中文 (zh) |
我是此声音的拥有者并授权OpenAI使用此声音创建语音合成模型 |
接著透過 API 上傳同意錄音。上傳成功後,API 會傳回同意錄音 ID,供後續步驟使用。如果同一位配音者多次嘗試建立聲音,可以重複使用同一筆同意紀錄。
curl https://api.openai.com/v1/audio/voice_consents \
-X POST \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F "name=test_consent" \
-F "language=en" \
-F "recording=@$HOME/tmp/voice_consent/consent_recording.wav;type=audio/x-wav"建立聲音
接著,使用同意錄音 ID 並提供聲音樣本,即可建立聲音。
curl https://api.openai.com/v1/audio/voices \
-X POST \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F "name=test_voice" \
-F "audio_sample=@$HOME/tmp/voice_consent/audio_sample_recording.wav;type=audio/x-wav" \
-F "consent=cons_123abc"成功建立後,你會在 Audio 分頁中看到新聲音。
使用根據錄音建立的聲音生成語音
搭配使用 gpt-realtime-2.1-mini 和 Realtime API,就能以自訂聲音生成語音。在工作階段傳回第一個音訊回應之前,請將 session.audio.output.voice 設為包含聲音 ID 的物件。
設定 Realtime 工作階段
建立 Realtime 用戶端密鑰時,請使用下列請求本文,再依照 WebRTC 連線指南使用該密鑰連線。將 voice_123abc 替換為建立聲音時傳回的 ID:
const sessionConfig = JSON.stringify({
session: {
type: "realtime",
model: "gpt-realtime-2.1-mini",
instructions: "Read the user's text aloud without adding commentary.",
output_modalities: ["audio"],
audio: {
output: {
voice: { id: "voice_123abc" },
},
},
},
});若要將文字轉成語音,請先新增一則包含該段文字的使用者訊息,再傳送 response.create,並將該事件的 output_modalities 設為 ["audio"]。工作階段指示會要求模型朗讀提供的文字。請透過 WebRTC 音軌接收生成的音訊,詳見使用 WebRTC 處理音訊。
在 GPT-Live 中使用根據錄音建立的聲音
請使用限定於單一專案、且已獲准使用 GPT-Live 和建立自訂聲音的 API 金鑰。讀取同意聲明和使用自訂聲音需要 api.voices.read 權限。建立同意紀錄和聲音則需要 api.voices.write 權限,以及自訂聲音 API 的存取權。所有請求都必須使用同一個專案,並將 API 金鑰存放在受信任的伺服器上。
準備錄音
錄音前,請先列出目前支援的同意聲明:
curl https://api.openai.com/v1/audio/consent_phrases \
-H "Authorization: Bearer $OPENAI_API_KEY"
同意錄音和參考樣本中的說話者必須是同一人。扣除靜音後,樣本必須包含至少 5 秒的實際說話內容,轉錄後的文字也必須至少有 15 個 Token。請使用長度為 10–60 秒、包含數個完整句子的錄音。每次上傳的大小上限為 10 MiB。服務會從錄音中擷取參考逐字稿。
瀏覽器的錄音工具可能將音訊標示為 audio/webm;codecs=opus,而上傳端點會拒絕這個類型。建立上傳請求時,請使用支援的基本 MIME 類型 audio/webm,並保留原始音訊的位元組。使用前述請求建立同意紀錄和聲音,再儲存傳回的聲音 ID。
建立工作階段時選擇聲音
自訂聲音請以物件傳入,例如 { "id": "voice_123" }。具名聲音則使用字串,例如 "marin"。
gpt-live-1 支援帶有不同英語口音的自訂聲音。若要使用特定口音,也請在 session.instructions 中指定,例如「請說英式英語」或「請說愛爾蘭英語」。下方範例使用英式英語,請依自訂聲音所需的口音調整指示。
初始化工作階段時,請加入下列設定:
{
"model": "gpt-live-1",
"instructions": "You are a helpful voice assistant. Speak British English.",
"audio": { "output": { "voice": { "id": "voice_123" } } }
}
若使用 WebRTC,請讓應用程式伺服器將這項設定放入 JSON 的 session 欄位,並在該欄位的同一層級提供 transport。使用應用程式憑證驗證傳送至伺服器的請求,並將 OpenAI API 金鑰存放在伺服器上。
若使用 WebSockets,請在第一個 session.start 事件中加入這項設定。依照連線指南串流傳輸音訊並關閉工作階段。
處理存取與生命週期錯誤
- 建立工作階段時就要選定聲音。若要改用其他聲音,請開啟新的工作階段。
- 如果聲音已刪除或撤銷、同意紀錄屬於其他專案,或專案缺少自訂聲音存取權,API 可能會傳回
404。 - 如果音訊格式有誤、兩段錄音的說話者不同,或金鑰並未限定於單一專案,請求就會遭到拒絕。
建立聲音前,請確認專案權限、錄音的最低要求和上傳限制。工作階段的設定要求請參閱 GPT-Live 入門指南。