如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

文本转语音

了解如何将文本转换为自然逼真的语音。

tts-1、tts-1-hd 和 gpt-4o-mini-tts 模型均已弃用,并将于 2027 年 1 月 6 日停止服务。请迁移到 gpt-realtime-2.1-mini,并改用 Realtime API。迁移时需要调整 API 调用流程,因为 gpt-realtime-2.1-mini 无法通过 /v1/audio/speech 调用。在这些模型停止服务前,现有集成仍可按下文所示的流程使用 Speech API。详情请参阅弃用公告。

Audio API 提供的 speech 端点基于我们的 GPT-4o mini TTS(文本转语音)模型。该端点内置 11 种音色,可用于:

  • 朗读博客文章
  • 生成多种语言的语音
  • 以流式传输方式实时输出音频

下面是 alloy 音色的试听示例:

根据我们的使用政策,您必须明确告知最终用户,他们听到的 TTS 语音由 AI 生成,并非真人发声。

快速入门

speech 端点接受三项主要输入:

  1. 您使用的模型
  2. 要转换为语音的文本
  3. 朗读文本时使用的音色

请求示例如下:

根据输入文本生成语音
from pathlib import Path
from openai import OpenAI

client = OpenAI()
speech_file_path = Path(__file__).parent / "speech.mp3"

with client.audio.speech.with_streaming_response.create(
    model="gpt-4o-mini-tts",
    voice="coral",
    input="Today is a wonderful day to build something people love!",
    instructions="Speak in a cheerful and positive tone.",
) as response:
    response.stream_to_file(speech_file_path)

默认情况下,该端点以 MP3 格式输出语音。您也可以将输出设置为任意一种支持的格式。

文本转语音模型

如果您已集成 Speech API,可以使用提示词控制 gpt-4o-mini-tts 生成的语音,包括以下方面:

  • 口音
  • 情感表达范围
  • 语调
  • 对特定说话方式的模仿
  • 语速
  • 语气
  • 是否耳语

我们的其他文本转语音模型包括 tts-1 和 tts-1-hd。tts-1 模型的延迟较低,但音质不及 tts-1-hd 模型。

音色选项

TTS 端点提供 13 种内置音色,供您选择朗读文本时使用的声音。您可以在 OpenAI.fm 上试听并试用这些音色。这个交互式演示可让您体验 OpenAI API 中最新的文本转语音模型。目前,这些音色主要针对英语进行了优化。

  • alloy
  • ash
  • ballad
  • coral
  • echo
  • fable
  • nova
  • onyx
  • sage
  • shimmer
  • verse
  • marin
  • cedar

为获得最佳音质,我们建议使用 marin 或 cedar。

可用音色取决于模型。tts-1 和 tts-1-hd 模型支持的音色较少,仅支持 alloy、ash、coral、echo、fable、onyx、nova、sage 和 shimmer。

如果您使用的是 Realtime API,可用的音色略有不同。有关当前可用的音色,请参阅实时对话指南。

实时流式传输音频

Speech API 支持通过分块传输编码实时流式传输音频。您可以在完整文件生成并可供访问之前开始播放音频。

将输入文本生成的语音直接通过扬声器流式播放
import asyncio

from openai import AsyncOpenAI
from openai.helpers import LocalAudioPlayer

openai = AsyncOpenAI()


async def main() -> None:
    async with openai.audio.speech.with_streaming_response.create(
        model="gpt-4o-mini-tts",
        voice="coral",
        input="Today is a wonderful day to build something people love!",
        instructions="Speak in a cheerful and positive tone.",
        response_format="pcm",
    ) as response:
        await LocalAudioPlayer().play(response)


if __name__ == "__main__":
    asyncio.run(main())

为获得最快的响应速度,我们建议使用 wav 或 pcm 作为响应格式。

支持的输出格式

默认响应格式为 mp3,您也可以使用 opus 和 wav 等其他格式。

  • MP3:默认响应格式,适用于常见场景。
  • Opus:延迟低,适合网络流媒体和通信。
  • AAC:用于数字音频压缩,是 YouTube、Android 和 iOS 首选的格式。
  • FLAC:用于无损音频压缩,是音频爱好者常用的存档格式。
  • WAV:未经压缩的 WAV 音频,可省去解码开销,适合低延迟应用。
  • PCM:与 WAV 类似,但不含文件头,仅包含采样率为 24 kHz 的原始采样数据(16 位有符号整数,小端字节序)。

支持的语言

TTS 模型支持的语言与 Whisper 模型大致相同。Whisper 支持以下语言,且在这些语言上表现良好。目前,TTS 音色主要针对英语进行了优化。

南非荷兰语、阿拉伯语、亚美尼亚语、阿塞拜疆语、白俄罗斯语、波斯尼亚语、保加利亚语、加泰罗尼亚语、中文、克罗地亚语、捷克语、丹麦语、荷兰语、英语、爱沙尼亚语、芬兰语、法语、加利西亚语、德语、希腊语、希伯来语、印地语、匈牙利语、冰岛语、印度尼西亚语、意大利语、日语、卡纳达语、哈萨克语、韩语、拉脱维亚语、立陶宛语、马其顿语、马来语、马拉地语、毛利语、尼泊尔语、挪威语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、塞尔维亚语、斯洛伐克语、斯洛文尼亚语、西班牙语、斯瓦希里语、瑞典语、他加禄语、泰米尔语、泰语、土耳其语、乌克兰语、乌尔都语、越南语和威尔士语。

要生成上述任一语言的语音,请使用该语言提供输入文本。

自定义音色

您可以使用说话者的同意录音和与之匹配的音频样本,创建经批准的自定义音色。有关使用资格、录音要求、同意声明用语和 API 请求的详细信息,请参阅自定义音色。

创建音色

请按照创建自定义音色中的步骤操作。

生成语音时使用自定义音色

生成语音时,请传入已创建音色的 ID。请参阅语音生成示例。

相关指南

实时交互与音频概览

为语音智能体、翻译、转录和语音生成选择合适的实现方式。

音频与语音概念

了解音频模态、语音任务、流式传输和基于请求的 API。