如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

自定义声音

根据文字描述或经授权的录音创建自定义声音。

您可以为智能体或应用创建自定义声音。创建方式有两种:

如需选择已有的 GPT-Live 声音,请参阅声音选项。

根据描述创建声音

您可以用文字提示词描述声音,系统会据此创建并保存声音。这种方式无需提供参考录音或授权录音。

使用提示词生成声音的功能已向所有 API 客户正式开放。通过提示词生成的声音可用于 GPT-Live。文本转语音 API、Realtime API 和 Chat Completions API 均不支持这类声音。

负责任地使用声音

  • 负责任地使用声音。 请勿冒充他人或违反我们的使用政策。
  • 使用成年人的声音。 禁止使用儿童的声音。
  • 告知听众语音的来源。 请明确告知听众语音由 AI 生成,并保留所有来源元数据、水印或其他表明语音为合成内容的标识。
  • 无法保证声音独一无二。 其他人可能生成相似的声音或输出内容。您对输出内容的所有权仍由您与 OpenAI 签订的协议约定。
  • 服务条款 适用于您及您的最终用户使用提示词生成声音的行为。

创建并保存声音

您可以通过 API 或在语音 Playground 中创建声音。使用提示词创建声音免费。在 GPT-Live 中使用该声音生成语音,按常规会话费率计费。

向 /v1/audio/voices 发送 JSON 请求,并将 type 设为 prompt:

curl --fail-with-body https://api.openai.com/v1/audio/voices \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "type": "prompt",
    "name": "Support assistant",
    "prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
    "model": "auto"
  }' \
  -o voice.json

script_hint 是可选的示例台词,用于引导声音生成。如果省略,服务会根据您的声音描述生成台词。如需自行提供,请填写一段有代表性的台词,最多 2,000 个字符。服务会拒绝空白或过短的台词。

每次请求成功后,系统都会创建并保存一个新声音。响应包含声音的元数据,包括 ID、以秒为单位的 Unix 创建时间戳,以及最初用于描述声音的提示词。响应不包含音频或试听片段:

{
  "object": "audio.voice",
  "id": "voice_123",
  "name": "Support assistant",
  "created_at": 0,
  "type": "prompt",
  "prompt": "A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace."
}

请保存返回的 id,并保留原始声音提示词。如果希望在其他会话中使用相同的声音,可以复用已保存的声音。每个组织最多可通过提示词创建 100 个声音。您的应用为客户创建声音时也受此限制。

描述声音

用通俗的语言描述声音特征。例如:

为客服助手生成一个沉稳、让人安心的成年人声音。说话时使用美式英语口音,
音高适中,音色圆润温暖,语速平稳自然,像日常交谈一样。

下表列出了可以描述的声音特征及示例措辞。请将这些描述写入提示词,它们没有单独对应的 API 参数:

特征 描述内容 示例措辞
口音 地区发音特点及口音的轻重 美式英语,口音浓重
年龄 声音听起来像哪个年龄段的人 三十多岁的成年人
声音表现 声音给人的整体印象 偏女性化
音高 声音听起来有多低或多高 音高适中
音色 声音的色彩 圆润饱满
质感 声音是否粗粝、沙哑或清亮 圆润
响度 发声时的力度 发声力度适中
语速 说话的快慢 语速适中
辨识度 希望声音的个人特色有多突出 有一定辨识度

请直接描述声音特征。请勿要求模仿某个具体的人、公众人物或虚构角色。禁止使用儿童的声音,请描述成年人的声音。

声音描述示例

您可以从以下描述入手,并在应用中试听生成的声音。

沉稳的助手

使用温暖的成年人声音,音高适中,音色圆润饱满。
发声力度适中,说话不紧不慢,让人感到安心。

活泼的向导

使用明亮清晰的成年人声音,音高略高,音色略带颗粒感。
说话时像聊天一样自然活泼,语速轻快,让听众能轻松跟上。

请将回答长度、如何处理打断以及何时委派任务等对话规则写入 GPT-Live 会话指令。

在 GPT-Live 中试听声音

在 Playground 中试听声音会启动 GPT-Live 会话,并按常规会话计费。

将 session.audio.output.voice.id 设为返回的声音 ID。为使声音呈现出描述中的效果,请在 session.instructions 中同时写入原始声音描述和应用的对话指令。

将 voice_123 替换为创建声音的请求返回的 ID:

{
  "model": "gpt-live-1",
  "instructions": "You are a helpful voice assistant. A calm, reassuring adult voice for a customer support assistant. Speak with an American English accent, a mid-range pitch, a smooth, warm tone, and a steady, conversational pace.",
  "audio": { "output": { "voice": { "id": "voice_123" } } }
}

如果使用 WebRTC,请将此配置放入 JSON 的 session 字段,并一并提供 transport。如果使用 WebSockets,请在第一个 session.start 事件中包含此配置。按照连接指南发送音频并试听声音。请在会话启动时选择声音,如需尝试其他声音,请启动新会话。

通过 /v1/audio/voices 创建声音不支持零数据保留,包括根据录音创建声音。如果您的组织或项目已启用零数据保留,GPT-Live 生成语音时可适用这一设置。启用零数据保留后,无法存储或下载会话录音,也无法从已有会话派生新会话。有关会话存储和保留要求,请参阅数据控制。

调整并复用声音

每次只调整一项特征,用同一段简短的文字和几轮对话比较效果。试听时留意口音、语速以及应用所需的其他特征。保存您满意的声音 ID,以便复用。

每次创建请求都会保存一个新声音。如需尝试另一个已保存的声音,请使用其 ID 启动新的 GPT-Live 会话。

根据录音创建声音

要根据录音创建声音,请提供一段简短的参考音频,模型会尝试复现其中的声音。

仅符合条件的客户可以根据录音创建自定义声音。请联系我们的销售团队了解详情。您的组织启用此功能后,即可在“音频”下访问“声音”选项卡。

准备并上传录音

根据录音创建声音必须通过 API 请求完成。有关所有可用的 API 操作,请参阅 API 参考文档。

根据录音创建声音需要两段独立的录音:

  1. 授权录音: 录下配音者本人同意创建与其声音相似的合成声音的声明。配音者必须朗读下文列出的一条授权声明。
  2. 样本录音: 提供实际的声音样本,模型会尽量还原样本中的声音。样本中的声音必须与授权录音中的声音一致。

创建高质量声音的技巧

自定义声音的质量在很大程度上取决于您提供的样本质量。改善录音质量可以显著提升效果。

  • 在安静且回声尽可能小的空间内录音。
  • 使用专业的 XLR 麦克风。
  • 与麦克风保持约 7–8 英寸的距离,在中间放置防喷罩,并在整个录音过程中保持距离不变。
  • 模型会忠实复现录音中的语调、节奏、活力、停顿和说话习惯,因此请按您希望生成的声音来录制。整段录音的活力、风格和口音都应保持一致。
  • 音频样本的细微差异可能影响生成声音的质量。请尝试多个样本,找出最合适的一个。

要求和限制

  • 每个组织最多可根据录音创建 20 个声音。
  • 音频样本的时长不得超过 60 秒。
  • 音频样本必须采用以下格式之一:mpeg、wav、ogg、aac、flac、webm 或 mp4。

有关其他使用条款,请参阅《文本转语音补充协议》。

创建声音授权记录

授权录音中只能包含以下声明中的一条。朗读内容必须与原文完全一致,否则授权将失败。

语言 授权声明
德语(de) Ich bin der Eigentümer dieser Stimme und bin damit einverstanden, dass OpenAI diese Stimme zur Erstellung eines synthetischen Stimmmodells verwendet.
英语(en) I am the owner of this voice and I consent to OpenAI using this voice to create a synthetic voice model.
西班牙语(es) Soy el propietario de esta voz y doy mi consentimiento para que OpenAI la utilice para crear un modelo de voz sintética.
法语(fr) Je suis le propriétaire de cette voix et j’autorise OpenAI à utiliser cette voix pour créer un modèle de voix synthétique.
印地语(hi) मैं इस आवाज का मालिक हूं और मैं सिंथेटिक आवाज मॉडल बनाने के लिए OpenAI को इस आवाज का उपयोग करने की सहमति देता हूं
印度尼西亚语(id) Saya adalah pemilik suara ini dan saya memberikan persetujuan kepada OpenAI untuk menggunakan suara ini guna membuat model suara sintetis.
意大利语(it) Sono il proprietario di questa voce e acconsento che OpenAI la utilizzi per creare un modello di voce sintetica.
日语(ja) 私はこの音声の所有者であり、OpenAIがこの音声を使用して音声合成 モデルを作成することを承認します。
韩语(ko) 나는 이 음성의 소유자이며 OpenAI가 이 음성을 사용하여 음성 합성 모델을 생성할 것을 허용합니다.
荷兰语(nl) Ik ben de eigenaar van deze stem en ik geef OpenAI toestemming om deze stem te gebruiken om een synthetisch stemmodel te maken.
波兰语(pl) Jestem właścicielem tego głosu i wyrażam zgodę na wykorzystanie go przez OpenAI w celu utworzenia syntetycznego modelu głosu.
葡萄牙语(pt) Eu sou o proprietário desta voz e autorizo o OpenAI a usá-la para criar um modelo de voz sintética.
俄语(ru) Я являюсь владельцем этого голоса и даю согласие OpenAI на использование этого голоса для создания модели синтетического голоса.
乌克兰语(uk) Я є власником цього голосу і даю згоду OpenAI використовувати цей голос для створення синтетичної голосової моделі.
越南语(vi) Tôi là chủ sở hữu giọng nói này và tôi đồng ý cho OpenAI sử dụng giọng nói này để tạo mô hình giọng nói tổng hợp.
中文(zh) 我是此声音的拥有者并授权OpenAI使用此声音创建语音合成模型

接下来,通过 API 上传授权录音。上传成功后,API 会返回授权录音 ID,供后续创建声音时引用。如果同一位配音者多次尝试创建声音,可以复用同一份授权。

curl https://api.openai.com/v1/audio/voice_consents \
  -X POST \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "name=test_consent" \
  -F "language=en" \
  -F "recording=@$HOME/tmp/voice_consent/consent_recording.wav;type=audio/x-wav"

创建声音

接下来,引用授权录音 ID 并提供声音样本,即可创建声音。

curl https://api.openai.com/v1/audio/voices \
  -X POST \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "name=test_voice" \
  -F "audio_sample=@$HOME/tmp/voice_consent/audio_sample_recording.wav;type=audio/x-wav" \
  -F "consent=cons_123abc"

创建成功后,您可以在“音频”选项卡下看到新创建的声音。

使用根据录音创建的声音生成语音

将 gpt-realtime-2.1-mini 与 Realtime API 配合使用,即可用自定义声音生成语音。请在会话首次返回音频响应之前,将 session.audio.output.voice 设为包含声音 ID 的对象。

配置 Realtime 会话

创建 Realtime 客户端密钥时,请使用以下请求体,然后按照 WebRTC 连接指南使用该密钥建立连接。将 voice_123abc 替换为创建声音的请求返回的 ID:

const sessionConfig = JSON.stringify({
  session: {
    type: "realtime",
    model: "gpt-realtime-2.1-mini",
    instructions: "Read the user's text aloud without adding commentary.",
    output_modalities: ["audio"],
    audio: {
      output: {
        voice: { id: "voice_123abc" },
      },
    },
  },
});

要将文本转换为语音,请先添加一条包含待朗读文本的用户消息,然后发送 response.create,并将 output_modalities 设为 ["audio"]。会话指令会要求模型朗读所提供的文本。通过 WebRTC 音轨接收生成的音频,具体方法请参阅使用 WebRTC 处理音频。

在 GPT-Live 中使用根据录音创建的声音

请使用同时获准访问 GPT-Live 和创建自定义声音的项目级 API 密钥。读取授权声明和使用自定义声音需要 api.voices.read 权限。创建授权记录和声音需要 api.voices.write 权限和自定义声音 API 的访问权限。所有请求都必须使用同一项目,并将 API 密钥保存在可信服务器上。

准备录音

录音前,先获取当前支持的授权声明列表:

curl https://api.openai.com/v1/audio/consent_phrases \
  -H "Authorization: Bearer $OPENAI_API_KEY"

授权录音和参考样本必须由同一人录制。样本中的实际讲话时长不得少于 5 秒,转写后的文本不得少于 15 个 Token。静音不计入讲话时长。请使用一段 10–60 秒的录音,其中应包含几个完整的句子。每次上传的大小上限为 10 MiB。服务会从您的录音中提取参考转写文本。

浏览器录音工具可能会将音频标记为 audio/webm;codecs=opus,而上传端点会拒绝该类型。构造上传请求时,请使用受支持的基础 MIME 类型 audio/webm,并保持原始音频字节不变。按照上文的示例发送创建授权记录和声音的请求,然后保存返回的声音 ID。

创建会话时选择声音

以对象形式传入自定义声音,例如 { "id": "voice_123" }。指定预设声音名称时使用字符串,例如 "marin"。

gpt-live-1 支持带有不同英语口音的自定义声音。如需使用特定口音,还应在 session.instructions 中明确指定,例如“请说英式英语”或“请说爱尔兰英语”。以下示例使用英式英语,请根据您希望自定义声音使用的口音调整指令。

在初始会话中包含以下配置:

{
  "model": "gpt-live-1",
  "instructions": "You are a helpful voice assistant. Speak British English.",
  "audio": { "output": { "voice": { "id": "voice_123" } } }
}

如果使用 WebRTC,请让应用服务器将此配置放入 JSON 的 session 字段,并一并提供 transport。使用应用凭据对发往您服务器的请求进行身份验证,并将 OpenAI API 密钥保存在服务器上。

如果使用 WebSockets,请在第一个 session.start 事件中包含此配置。按照连接指南以流式方式传输音频并关闭会话。

处理与访问权限和声音生命周期有关的错误

  • 创建会话时选择声音。如需使用其他声音,请启动新会话。
  • 如果声音已被删除或撤销、授权记录来自其他项目,或者项目缺少自定义声音访问权限,请求可能返回 404。
  • 如果音频格式有误、两段录音中的说话人不一致,或密钥不是项目级密钥,服务会拒绝请求。

创建声音前,请确认项目具备所需权限,并核对录音的最低要求和上传限制。有关会话设置要求,请参阅 GPT-Live 入门指南。