您可以为智能体或应用创建自定义声音。创建方式有两种:
- 根据描述创建: 使用提示词为 GPT-Live 生成声音。在文字提示词中描述您想要的声音特征。
- 根据录音创建: 提供一段授权录音和一段简短的参考录音样本。这样创建的声音可用于 GPT-Live、文本转语音 API、Realtime API 或支持音频输出的 Chat Completions API。
如需选择已有的 GPT-Live 声音,请参阅声音选项。
根据描述创建声音
您可以用文字提示词描述声音,系统会据此创建并保存声音。这种方式无需提供参考录音或授权录音。
使用提示词生成声音的功能已向所有 API 客户正式开放。通过提示词生成的声音可用于 GPT-Live。文本转语音 API、Realtime API 和 Chat Completions API 均不支持这类声音。
负责任地使用声音
- 负责任地使用声音。 请勿冒充他人或违反我们的使用政策。
- 使用成年人的声音。 禁止使用儿童的声音。
- 告知听众语音的来源。 请明确告知听众语音由 AI 生成,并保留所有来源元数据、水印或其他表明语音为合成内容的标识。
- 无法保证声音独一无二。 其他人可能生成相似的声音或输出内容。您对输出内容的所有权仍由您与 OpenAI 签订的协议约定。
- 服务条款 适用于您及您的最终用户使用提示词生成声音的行为。
创建并保存声音
您可以通过 API 或在语音 Playground 中创建声音。使用提示词创建声音免费。在 GPT-Live 中使用该声音生成语音,按常规会话费率计费。
向 /v1/audio/voices 发送 JSON 请求,并将 type 设为 prompt:
curl --fail-with-body https://api.openai.com/v1/audio/voices \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"type": "prompt",
"name": "Support assistant",
"prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
"model": "auto"
}' \
-o voice.jsonscript_hint 是可选的示例台词,用于引导声音生成。如果省略,服务会根据您的声音描述生成台词。如需自行提供,请填写一段有代表性的台词,最多 2,000 个字符。服务会拒绝空白或过短的台词。
每次请求成功后,系统都会创建并保存一个新声音。响应包含声音的元数据,包括 ID、以秒为单位的 Unix 创建时间戳,以及最初用于描述声音的提示词。响应不包含音频或试听片段:
{
"object": "audio.voice",
"id": "voice_123",
"name": "Support assistant",
"created_at": 0,
"type": "prompt",
"prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace."
}
请保存返回的 id,并保留原始声音提示词。如果希望在其他会话中使用相同的声音,可以复用已保存的声音。每个组织最多可通过提示词创建 100 个声音。您的应用为客户创建声音时也受此限制。
描述声音
用通俗的语言描述声音特征。例如:
为客服助手生成一个沉稳、让人安心的成年人声音。说话时使用美式英语口音,
音高适中,音色圆润温暖,语速平稳自然,像日常交谈一样。
下表列出了可以描述的声音特征及示例措辞。请将这些描述写入提示词,它们没有单独对应的 API 参数:
| 特征 | 描述内容 | 示例措辞 |
|---|---|---|
| 口音 | 地区发音特点及口音的轻重 | 美式英语,口音浓重 |
| 年龄 | 声音听起来像哪个年龄段的人 | 三十多岁的成年人 |
| 声音表现 | 声音给人的整体印象 | 偏女性化 |
| 音高 | 声音听起来有多低或多高 | 音高适中 |
| 音色 | 声音的色彩 | 圆润饱满 |
| 质感 | 声音是否粗粝、沙哑或清亮 | 圆润 |
| 响度 | 发声时的力度 | 发声力度适中 |
| 语速 | 说话的快慢 | 语速适中 |
| 辨识度 | 希望声音的个人特色有多突出 | 有一定辨识度 |
请直接描述声音特征。请勿要求模仿某个具体的人、公众人物或虚构角色。禁止使用儿童的声音,请描述成年人的声音。
声音描述示例
您可以从以下描述入手,并在应用中试听生成的声音。
沉稳的助手
使用温暖的成年人声音,音高适中,音色圆润饱满。
发声力度适中,说话不紧不慢,让人感到安心。
活泼的向导
使用明亮清晰的成年人声音,音高略高,音色略带颗粒感。
说话时像聊天一样自然活泼,语速轻快,让听众能轻松跟上。
请将回答长度、如何处理打断以及何时委派任务等对话规则写入 GPT-Live 会话指令。
在 GPT-Live 中试听声音
在 Playground 中试听声音会启动 GPT-Live 会话,并按常规会话计费。
将 session.audio.output.voice.id 设为返回的声音 ID。为使声音呈现出描述中的效果,请在 session.instructions 中同时写入原始声音描述和应用的对话指令。
将 voice_123 替换为创建声音的请求返回的 ID:
{
"model": "gpt-live-1",
"instructions": "You are a helpful voice assistant. A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
"audio": { "output": { "voice": { "id": "voice_123" } } }
}
如果使用 WebRTC,请将此配置放入 JSON 的 session 字段,并一并提供 transport。如果使用 WebSockets,请在第一个 session.start 事件中包含此配置。按照连接指南发送音频并试听声音。请在会话启动时选择声音,如需尝试其他声音,请启动新会话。
通过 /v1/audio/voices 创建声音不支持零数据保留,包括根据录音创建声音。如果您的组织或项目已启用零数据保留,GPT-Live 生成语音时可适用这一设置。启用零数据保留后,无法存储或下载会话录音,也无法从已有会话派生新会话。有关会话存储和保留要求,请参阅数据控制。
调整并复用声音
每次只调整一项特征,用同一段简短的文字和几轮对话比较效果。试听时留意口音、语速以及应用所需的其他特征。保存您满意的声音 ID,以便复用。
每次创建请求都会保存一个新声音。如需尝试另一个已保存的声音,请使用其 ID 启动新的 GPT-Live 会话。
根据录音创建声音
要根据录音创建声音,请提供一段简短的参考音频,模型会尝试复现其中的声音。
准备并上传录音
根据录音创建声音必须通过 API 请求完成。有关所有可用的 API 操作,请参阅 API 参考文档。
根据录音创建声音需要两段独立的录音:
- 授权录音: 录下配音者本人同意创建与其声音相似的合成声音的声明。配音者必须朗读下文列出的一条授权声明。
- 样本录音: 提供实际的声音样本,模型会尽量还原样本中的声音。样本中的声音必须与授权录音中的声音一致。
创建高质量声音的技巧
自定义声音的质量在很大程度上取决于您提供的样本质量。改善录音质量可以显著提升效果。
- 在安静且回声尽可能小的空间内录音。
- 使用专业的 XLR 麦克风。
- 与麦克风保持约 7–8 英寸的距离,在中间放置防喷罩,并在整个录音过程中保持距离不变。
- 模型会忠实复现录音中的语调、节奏、活力、停顿和说话习惯,因此请按您希望生成的声音来录制。整段录音的活力、风格和口音都应保持一致。
- 音频样本的细微差异可能影响生成声音的质量。请尝试多个样本,找出最合适的一个。
要求和限制
- 每个组织最多可根据录音创建 20 个声音。
- 音频样本的时长不得超过 60 秒。
- 音频样本必须采用以下格式之一:
mpeg、wav、ogg、aac、flac、webm或mp4。
有关其他使用条款,请参阅《文本转语音补充协议》。
创建声音授权记录
授权录音中只能包含以下声明中的一条。朗读内容必须与原文完全一致,否则授权将失败。
| 语言 | 授权声明 |
|---|---|
德语(de) |
Ich bin der Eigentümer dieser Stimme und bin damit einverstanden, dass OpenAI diese Stimme zur Erstellung eines synthetischen Stimmmodells verwendet. |
英语(en) |
I am the owner of this voice and I consent to OpenAI using this voice to create a synthetic voice model. |
西班牙语(es) |
Soy el propietario de esta voz y doy mi consentimiento para que OpenAI la utilice para crear un modelo de voz sintética. |
法语(fr) |
Je suis le propriétaire de cette voix et j’autorise OpenAI à utiliser cette voix pour créer un modèle de voix synthétique. |
印地语(hi) |
मैं इस आवाज का मालिक हूं और मैं सिंथेटिक आवाज मॉडल बनाने के लिए OpenAI को इस आवाज का उपयोग करने की सहमति देता हूं |
印度尼西亚语(id) |
Saya adalah pemilik suara ini dan saya memberikan persetujuan kepada OpenAI untuk menggunakan suara ini guna membuat model suara sintetis. |
意大利语(it) |
Sono il proprietario di questa voce e acconsento che OpenAI la utilizzi per creare un modello di voce sintetica. |
日语(ja) |
私はこの音声の所有者であり、OpenAIがこの音声を使用して音声合成 モデルを作成することを承認します。 |
韩语(ko) |
나는 이 음성의 소유자이며 OpenAI가 이 음성을 사용하여 음성 합성 모델을 생성할 것을 허용합니다. |
荷兰语(nl) |
Ik ben de eigenaar van deze stem en ik geef OpenAI toestemming om deze stem te gebruiken om een synthetisch stemmodel te maken. |
波兰语(pl) |
Jestem właścicielem tego głosu i wyrażam zgodę na wykorzystanie go przez OpenAI w celu utworzenia syntetycznego modelu głosu. |
葡萄牙语(pt) |
Eu sou o proprietário desta voz e autorizo o OpenAI a usá-la para criar um modelo de voz sintética. |
俄语(ru) |
Я являюсь владельцем этого голоса и даю согласие OpenAI на использование этого голоса для создания модели синтетического голоса. |
乌克兰语(uk) |
Я є власником цього голосу і даю згоду OpenAI використовувати цей голос для створення синтетичної голосової моделі. |
越南语(vi) |
Tôi là chủ sở hữu giọng nói này và tôi đồng ý cho OpenAI sử dụng giọng nói này để tạo mô hình giọng nói tổng hợp. |
中文(zh) |
我是此声音的拥有者并授权OpenAI使用此声音创建语音合成模型 |
接下来,通过 API 上传授权录音。上传成功后,API 会返回授权录音 ID,供后续创建声音时引用。如果同一位配音者多次尝试创建声音,可以复用同一份授权。
curl https://api.openai.com/v1/audio/voice_consents \
-X POST \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F "name=test_consent" \
-F "language=en" \
-F "recording=@$HOME/tmp/voice_consent/consent_recording.wav;type=audio/x-wav"创建声音
接下来,引用授权录音 ID 并提供声音样本,即可创建声音。
curl https://api.openai.com/v1/audio/voices \
-X POST \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F "name=test_voice" \
-F "audio_sample=@$HOME/tmp/voice_consent/audio_sample_recording.wav;type=audio/x-wav" \
-F "consent=cons_123abc"创建成功后,您可以在“音频”选项卡下看到新创建的声音。
使用根据录音创建的声音生成语音
将 gpt-realtime-2.1-mini 与 Realtime API 配合使用,即可用自定义声音生成语音。请在会话首次返回音频响应之前,将 session.audio.output.voice 设为包含声音 ID 的对象。
配置 Realtime 会话
创建 Realtime 客户端密钥时,请使用以下请求体,然后按照 WebRTC 连接指南使用该密钥建立连接。将 voice_123abc 替换为创建声音的请求返回的 ID:
const sessionConfig = JSON.stringify({
session: {
type: "realtime",
model: "gpt-realtime-2.1-mini",
instructions: "Read the user's text aloud without adding commentary.",
output_modalities: ["audio"],
audio: {
output: {
voice: { id: "voice_123abc" },
},
},
},
});要将文本转换为语音,请先添加一条包含待朗读文本的用户消息,然后发送 response.create,并将 output_modalities 设为 ["audio"]。会话指令会要求模型朗读所提供的文本。通过 WebRTC 音轨接收生成的音频,具体方法请参阅使用 WebRTC 处理音频。
在 GPT-Live 中使用根据录音创建的声音
请使用同时获准访问 GPT-Live 和创建自定义声音的项目级 API 密钥。读取授权声明和使用自定义声音需要 api.voices.read 权限。创建授权记录和声音需要 api.voices.write 权限和自定义声音 API 的访问权限。所有请求都必须使用同一项目,并将 API 密钥保存在可信服务器上。
准备录音
录音前,先获取当前支持的授权声明列表:
curl https://api.openai.com/v1/audio/consent_phrases \
-H "Authorization: Bearer $OPENAI_API_KEY"
授权录音和参考样本必须由同一人录制。样本中的实际讲话时长不得少于 5 秒,转写后的文本不得少于 15 个 Token。静音不计入讲话时长。请使用一段 10–60 秒的录音,其中应包含几个完整的句子。每次上传的大小上限为 10 MiB。服务会从您的录音中提取参考转写文本。
浏览器录音工具可能会将音频标记为 audio/webm;codecs=opus,而上传端点会拒绝该类型。构造上传请求时,请使用受支持的基础 MIME 类型 audio/webm,并保持原始音频字节不变。按照上文的示例发送创建授权记录和声音的请求,然后保存返回的声音 ID。
创建会话时选择声音
以对象形式传入自定义声音,例如 { "id": "voice_123" }。指定预设声音名称时使用字符串,例如 "marin"。
gpt-live-1 支持带有不同英语口音的自定义声音。如需使用特定口音,还应在 session.instructions 中明确指定,例如“请说英式英语”或“请说爱尔兰英语”。以下示例使用英式英语,请根据您希望自定义声音使用的口音调整指令。
在初始会话中包含以下配置:
{
"model": "gpt-live-1",
"instructions": "You are a helpful voice assistant. Speak British English.",
"audio": { "output": { "voice": { "id": "voice_123" } } }
}
如果使用 WebRTC,请让应用服务器将此配置放入 JSON 的 session 字段,并一并提供 transport。使用应用凭据对发往您服务器的请求进行身份验证,并将 OpenAI API 密钥保存在服务器上。
如果使用 WebSockets,请在第一个 session.start 事件中包含此配置。按照连接指南以流式方式传输音频并关闭会话。
处理与访问权限和声音生命周期有关的错误
- 创建会话时选择声音。如需使用其他声音,请启动新会话。
- 如果声音已被删除或撤销、授权记录来自其他项目,或者项目缺少自定义声音访问权限,请求可能返回
404。 - 如果音频格式有误、两段录音中的说话人不一致,或密钥不是项目级密钥,服务会拒绝请求。
创建声音前,请确认项目具备所需权限,并核对录音的最低要求和上传限制。有关会话设置要求,请参阅 GPT-Live 入门指南。