如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

音频与语音

使用 GPT-Live 构建语音对话应用,或为其他音频任务选择合适的 API。

如果您要开发新的语音对话应用,请从 GPT-Live 开始。它可以在说话的同时听取用户的语音,并在后端智能体推理、调用工具或执行任务期间继续与用户交谈。

按照 WebRTC 快速入门指南建立首次对话连接,然后编写一段简短的 Live 提示词。如果您已有 Realtime 应用或文本智能体,请按照迁移到 GPT-Live 中的步骤进行迁移。

选择其他音频工作流

如果您需要 Realtime API 的会话和工具模型,请使用该 API。如果您要进行转写、翻译或语音生成,并且无需对话智能体,请从下表中选择相应的专用 API。

构建目标 入门指南 您可以控制的内容
使用 Realtime 会话和工具模型的语音到语音智能体 Realtime API 语音对话轮次、会话状态、工具和打断处理。
现有文本智能体的语音界面 语音智能体 先将语音转为文本,再运行文本智能体工作流,最后将文本转为语音。
音频文件的转写文本 文件转写 文件上传、范围明确的单次请求以及支持的转写格式。
无需助手发声的实时字幕 实时转写 流式音频和增量转写事件。
连续语音翻译 实时翻译 专用翻译会话,无需按语音智能体的对话轮次循环处理。
旁白或生成的语音 文本转语音 文本、音色和输出格式。
现有聊天应用中的音频输入或输出 在 Chat Completions 中使用音频 范围明确的单次多模态聊天请求。

开发语音应用

参阅语音智能体以比较不同架构。先阅读 GPT-Live 或 Realtime 的提示词指南,再参阅有关自定义音色、评估和成本优化的通用指南。每份指南都会说明哪些行为因模型或 API 而异。

选择连接方式

如果要在浏览器中处理音频,请从 WebRTC 开始。对于服务器端音频处理管道,请使用 WebSockets。对于电话通话,请参阅电话与 SIP。通过服务器端控制连接,受信任的后端可以监控和控制媒体会话。

请在各连接方式的页面上选择您使用的 API。即使采用相同的传输协议,GPT-Live 和 Realtime 的握手流程、凭据和事件格式也不能互换。请查看相应连接指南中的前提条件和设置步骤。

为现有应用添加音频功能

Chat Completions 示例现已移至在 Chat Completions 中使用音频。如果您要在浏览器中构建语音智能体,请从 GPT-Live WebRTC 快速入门指南开始。