GPT-Live 负责与用户进行语音对话,同时由后端智能体查询信息、使用工具并完成任务。GPT-Live 在说话时也能听到用户的声音(全双工)。将任务交给后端处理称为委派。
例如,用户可以询问订单情况,并在后端查询订单状态时补充细节。GPT-Live 可以继续与用户交谈,等后端返回结果后再向用户说明。您可以独立选择语音模型和后端使用的模型或智能体。
了解两部分的分工
- GPT-Live 负责对话。 它听取用户发言、作出语音回应,并决定何时请求后端协助。用简短的提示词说明对话风格和委派任务的时机。
- 后端负责处理委派的任务。 如果使用 Responses 委派,请选择受支持的 Responses 模型。如果使用客户端委派,您可以连接应用运行的任何模型、智能体执行框架或服务。后端负责推理和使用工具,再将结果返回给 GPT-Live,由它转达给用户。请将详细指令、业务规则和工具使用流程放在后端。
您的应用负责检查权限、获取必要的确认、运行访问您系统的函数,并保存任务进度。即使通话者打断助手,后端也可以继续处理任务,由您的应用决定是完成还是取消任务。有关 GPT-Live 与 Realtime 语音应用及链式语音应用的比较,请参阅语音智能体。
选择后端运行方式
建议先使用 Responses 委派。OpenAI 会运行后端模型,并在模型与 GPT-Live 之间传递对话上下文和任务结果。您自己的函数工具仍由您的应用运行。如果要接入现有智能体,或自行控制后端的上下文、执行过程和返回结果,请选择 客户端委派。
有关两种模式的比较及配置详情,请参阅选择委派模式。请在创建会话时选择模式。如需更改模式,请启动新会话。
建立首个会话
请从 GPT-Live WebRTC 快速入门开始。指南中的浏览器端和服务器端示例接入了麦克风输入和扬声器输出,并使用支持网页搜索的 Responses 后端。
您需要一个麦克风、一个通过 HTTPS 或 localhost 访问的网页,以及一台持有 OpenAI 项目 API 密钥的可信服务器。请将密钥保存在服务器上。
- 将会话模型设为
gpt-live-1.1。编写简短的对话提示词,告诉 GPT-Live 何时请求后端协助。 - 按照快速入门指南,在浏览器中接入麦克风、音频播放和事件通道。您的服务器负责创建会话,并用浏览器发出的连接提议换取应答。
- 收到
session.started事件后,开口说话并听取回复。您可以问一个需要查询最新信息的问题,试用后端的网页搜索功能。 - 结束对话并关闭会话,以获取最终用量数据并释放连接。
首次测试时,请听取助手的回答,检查回答内容是否与后端的搜索结果一致。
GPT-Live 语音会话按时长计费,后端模型和工具的用量另行计费。当前费率请参阅 GPT-Live 定价,降低成本的方法请参阅成本优化。
示例应用和客户端 SDK
- OpenAI Live Console 是一个可在本地运行的示例应用,您可以用它体验 GPT-Live 对话、尝试任务委派,并查看后端工具的调用情况。
- Switchboard OpenAI Live Toolkit 是一个第三方 React Native SDK,可用于构建 iOS 版 GPT-Live 应用。
选择连接方式
- WebRTC 是浏览器、移动端和服务器端应用建立音频连接的推荐方式。它通过媒体轨道传输音频,通过数据通道传输 JSON 事件。
- WebSockets 是另一种受支持的连接方式,可以通过同一条连接传输音频和控制事件。
- 电话与 SIP 用于接入电话通话。
要从后端监控或控制现有会话,请添加一条服务器端连接。这条额外的 WebSocket 连接称为边带连接,音频仍通过会话的主连接传输。
合作伙伴集成
如果您的应用已经在使用 LiveKit、Twilio、Telnyx、Bandwidth 或 Daily/Pipecat,请按照合作伙伴集成概览中的说明,将应用现有的通话或音频流接入 GPT-Live。
继续开发
- 参阅为 GPT-Live 编写提示词,了解如何设定对话风格和任务委派方式。
- 参阅委派与工具,了解如何接入工具并降低后端延迟。
- 参阅管理会话,了解如何管理上下文、对话转写文本和会话生命周期。
- 参阅迁移到 GPT-Live,为您的 Realtime 智能体或文本智能体选择迁移路径。
- 参阅评估语音智能体,了解如何测试对话效果和任务完成情况。