如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

GPT-Live 入门

构建语音应用,让用户在后端智能体处理任务时仍能继续对话。

GPT-Live 负责与用户进行语音对话,同时由后端智能体查询信息、使用工具并完成任务。GPT-Live 在说话时也能听到用户的声音(全双工)。将任务交给后端处理称为委派。

例如,用户可以询问订单情况,并在后端查询订单状态时补充细节。GPT-Live 可以继续与用户交谈,等后端返回结果后再向用户说明。您可以独立选择语音模型和后端使用的模型或智能体。

了解两部分的分工

  • GPT-Live 负责对话。 它听取用户发言、作出语音回应,并决定何时请求后端协助。用简短的提示词说明对话风格和委派任务的时机。
  • 后端负责处理委派的任务。 如果使用 Responses 委派,请选择受支持的 Responses 模型。如果使用客户端委派,您可以连接应用运行的任何模型、智能体执行框架或服务。后端负责推理和使用工具,再将结果返回给 GPT-Live,由它转达给用户。请将详细指令、业务规则和工具使用流程放在后端。

您的应用负责检查权限、获取必要的确认、运行访问您系统的函数,并保存任务进度。即使通话者打断助手,后端也可以继续处理任务,由您的应用决定是完成还是取消任务。有关 GPT-Live 与 Realtime 语音应用及链式语音应用的比较,请参阅语音智能体。

选择后端运行方式

建议先使用 Responses 委派。OpenAI 会运行后端模型,并在模型与 GPT-Live 之间传递对话上下文和任务结果。您自己的函数工具仍由您的应用运行。如果要接入现有智能体,或自行控制后端的上下文、执行过程和返回结果,请选择 客户端委派。

有关两种模式的比较及配置详情,请参阅选择委派模式。请在创建会话时选择模式。如需更改模式,请启动新会话。

建立首个会话

请从 GPT-Live WebRTC 快速入门开始。指南中的浏览器端和服务器端示例接入了麦克风输入和扬声器输出,并使用支持网页搜索的 Responses 后端。

您需要一个麦克风、一个通过 HTTPS 或 localhost 访问的网页,以及一台持有 OpenAI 项目 API 密钥的可信服务器。请将密钥保存在服务器上。

  1. 将会话模型设为 gpt-live-1.1。编写简短的对话提示词,告诉 GPT-Live 何时请求后端协助。
  2. 按照快速入门指南,在浏览器中接入麦克风、音频播放和事件通道。您的服务器负责创建会话,并用浏览器发出的连接提议换取应答。
  3. 收到 session.started 事件后,开口说话并听取回复。您可以问一个需要查询最新信息的问题,试用后端的网页搜索功能。
  4. 结束对话并关闭会话,以获取最终用量数据并释放连接。

首次测试时,请听取助手的回答,检查回答内容是否与后端的搜索结果一致。

GPT-Live 语音会话按时长计费,后端模型和工具的用量另行计费。当前费率请参阅 GPT-Live 定价,降低成本的方法请参阅成本优化。

示例应用和客户端 SDK

  • OpenAI Live Console 是一个可在本地运行的示例应用,您可以用它体验 GPT-Live 对话、尝试任务委派,并查看后端工具的调用情况。
  • Switchboard OpenAI Live Toolkit 是一个第三方 React Native SDK,可用于构建 iOS 版 GPT-Live 应用。

选择连接方式

  • WebRTC 是浏览器、移动端和服务器端应用建立音频连接的推荐方式。它通过媒体轨道传输音频,通过数据通道传输 JSON 事件。
  • WebSockets 是另一种受支持的连接方式,可以通过同一条连接传输音频和控制事件。
  • 电话与 SIP 用于接入电话通话。

要从后端监控或控制现有会话,请添加一条服务器端连接。这条额外的 WebSocket 连接称为边带连接,音频仍通过会话的主连接传输。

合作伙伴集成

如果您的应用已经在使用 LiveKit、Twilio、Telnyx、Bandwidth 或 Daily/Pipecat,请按照合作伙伴集成概览中的说明,将应用现有的通话或音频流接入 GPT-Live。

继续开发