如果您要开发新的语音对话应用,请从 GPT-Live 开始。它可以在说话的同时听取用户的语音,并在后端智能体推理、调用工具或执行任务期间继续与用户交谈。
按照 WebRTC 快速入门指南建立首次对话连接,然后编写一段简短的 Live 提示词。如果您已有 Realtime 应用或文本智能体,请按照迁移到 GPT-Live 中的步骤进行迁移。
选择其他音频工作流
如果您需要 Realtime API 的会话和工具模型,请使用该 API。如果您要进行转写、翻译或语音生成,并且无需对话智能体,请从下表中选择相应的专用 API。
| 构建目标 | 入门指南 | 您可以控制的内容 |
|---|---|---|
| 使用 Realtime 会话和工具模型的语音到语音智能体 | Realtime API | 语音对话轮次、会话状态、工具和打断处理。 |
| 现有文本智能体的语音界面 | 语音智能体 | 先将语音转为文本,再运行文本智能体工作流,最后将文本转为语音。 |
| 音频文件的转写文本 | 文件转写 | 文件上传、范围明确的单次请求以及支持的转写格式。 |
| 无需助手发声的实时字幕 | 实时转写 | 流式音频和增量转写事件。 |
| 连续语音翻译 | 实时翻译 | 专用翻译会话,无需按语音智能体的对话轮次循环处理。 |
| 旁白或生成的语音 | 文本转语音 | 文本、音色和输出格式。 |
| 现有聊天应用中的音频输入或输出 | 在 Chat Completions 中使用音频 | 范围明确的单次多模态聊天请求。 |
开发语音应用
参阅语音智能体以比较不同架构。先阅读 GPT-Live 或 Realtime 的提示词指南,再参阅有关自定义音色、评估和成本优化的通用指南。每份指南都会说明哪些行为因模型或 API 而异。
选择连接方式
如果要在浏览器中处理音频,请从 WebRTC 开始。对于服务器端音频处理管道,请使用 WebSockets。对于电话通话,请参阅电话与 SIP。通过服务器端控制连接,受信任的后端可以监控和控制媒体会话。
请在各连接方式的页面上选择您使用的 API。即使采用相同的传输协议,GPT-Live 和 Realtime 的握手流程、凭据和事件格式也不能互换。请查看相应连接指南中的前提条件和设置步骤。
为现有应用添加音频功能
Chat Completions 示例现已移至在 Chat Completions 中使用音频。如果您要在浏览器中构建语音智能体,请从 GPT-Live WebRTC 快速入门指南开始。