GPT-Live 负责听取用户的话并用语音回应。后端决定如何完成任务以及调用哪些工具。保留现有的工具实现、权限检查和已保存的任务记录。迁移时,将后端连接到 GPT-Live,并确定各个模型分别需要哪些指令。
本指南以预约助手为例:先查询可预约的时段,请用户确认所选时段,再办理预约。请先按照入门指南建立会话连接,并保存现有应用中的代表性对话,以便比较迁移前后的表现。
迁移前的准备
记录迁移后的应用必须满足的要求:
- 工具和业务规则: 列出现有的提示词、工具和工作流,以及执行每项操作的条件。
- 输入类型: 明确音频、键入的文本和图像从哪里进入应用,以及哪个后端需要这些输入。请参阅添加图像和视觉上下文。
- 依赖音频的判断: 确定哪些判断需要听取原始声音,仅凭转写文本无法做出。请参阅保留依赖音频的判断逻辑。
- 语音和播放: 明确何时可以开始说话、何时必须停止,以及播放音频前必须完成哪些检查。
- 权限和防护措施: 列出授权、确认以及输入和输出检查,并注明应用在哪些环节执行这些检查。请参阅调整防护措施。
- 持久状态: 确定连接断开或新会话开始后,应用仍须保留哪些记录、任务进度和待执行操作。
- 用于对比的对话: 从当前应用中保存代表性对话,并记录各次对话的初始状态、预期工具操作、最终应用状态和语音回复。
请按照入门指南设置会话,并参考 Cookbook 中的语音智能体评估示例规划对比测试。
选择委派模式
确定由谁运行后端:
- Responses 委派: 配置托管的 Responses 模型,由它分析任务并选择工具。您的应用负责执行自定义函数并返回结果。如果当前由 Realtime 模型选择这些函数,可以从这种模式入手。
- 客户端委派: 保留现有的智能体或编排器。您的应用负责为其提供对话上下文、启动任务,并决定将哪些结果发送给 GPT-Live。
两种模式均支持下文的两条迁移路径。例如,如果 Realtime 应用使用独立的后端智能体,可以通过客户端委派保留该智能体。完整对比请参阅选择委派模式。
选择迁移路径
如果当前由语音模型选择工具,请先阅读从 Realtime API 迁移。如果您要保留现有智能体并使用 GPT-Live 为其提供语音交互,请先阅读从文本智能体或链式处理流程迁移。
从 Realtime API 迁移
请先阅读 GPT-Live 提示词指南。将现有提示词拆分给语音模型和后端,避免将整段提示词直接复制到 session.instructions 中。在语音提示词中保留对话风格和委派规则,将详细的工作流和工具使用说明移至后端。
迁移前: Realtime 模型负责语音交互,并选择 check_availability 和 book_appointment 等函数。您的应用执行这些函数并返回结果。
迁移后: GPT-Live 负责语音交互,并将任务委派给后端。后端选择原有的函数,您的应用仍负责验证和执行。本节步骤采用 Responses 委派。如果您保留外部智能体,请使用客户端适配器。
Responses 委派的工作方式
在 delegation.responses 中配置后端模型、指令和工具。当 GPT-Live 判断请求需要交由后端处理时,Live 服务会调用该 Responses 模型并提供相关对话上下文。后端分析任务并选择工具。您的应用仍负责运行自定义函数、执行权限检查并返回函数结果。
以预约助手为例:
- 用户询问周五有哪些时段可以预约,GPT-Live 将请求委派给后端。
- Responses 后端请求调用
check_availability。 - 您的应用运行函数、返回结果,并让后端继续生成响应。
- GPT-Live 根据后端的答复与用户讨论可预约的时段。
后端处理任务时,GPT-Live 可以继续说话。请分别跟踪后端任务和音频播放:根据工具结果更新任务状态,根据播放器状态更新发言指示器。有关配置和完整事件流程,请参阅委派和工具。
调整连接和音频处理流程
用 GPT-Live 连接步骤替换原有的 Realtime 会话设置步骤。重新检查所用传输方式的启动流程和音频格式。WebRTC 通过媒体轨道传输音频,通过数据通道传输 JSON 事件。使用主 WebSocket 连接时,音频通过 JSON 事件传输。
如果您的 Realtime 应用使用服务器连接来监控通话或执行防护措施,请改用 GPT-Live 带外连接。有关对话检查和播放逻辑的调整,请参阅调整防护措施。
| Realtime 中的现有行为 | 迁移到 GPT-Live 后的做法 |
|---|---|
使用 input_audio_buffer.append 通过 WebSocket 发送音频。 |
发送 session.input_audio.append,其 audio 字段包含经 base64 编码的原始音频。 |
播放 response.output_audio.delta 的 delta 字段中的音频。 |
按顺序播放 session.output_audio.delta 的 delta 字段中的音频。 |
| 手动控制对话轮次时,通过提交音频或创建响应来开始一轮对话。 | 持续传输音频流。由 GPT-Live 决定何时说话,移除手动提交音频和触发语音轮次的逻辑。 |
通过 response.output_audio.done 和 response.done 跟踪音频生成和响应完成状态。 |
GPT-Live 没有标记每次语音回复结束的对应事件。请在客户端跟踪播放状态。 |
| 根据输入音频转写事件显示用户字幕。 | 将 session.input_transcript.delta 中的文本追加到用户字幕。 |
根据 response.output_audio_transcript.delta 显示助手字幕。 |
将 session.output_transcript.delta 中的文本追加到助手字幕。 |
生成和播放: 根据音频播放器的状态控制发言指示器。服务器完成生成时,播放器的队列中可能还有一秒的音频待播放。在 Realtime 中,response.output_audio.done 表示音频生成结束,response.done 表示响应流结束。检查 response.status 可判断响应是否中断或失败。GPT-Live 没有表示每次语音回复结束的对应事件。
字幕: 启用输入音频转写后,Realtime 通过 conversation.item.input_audio_transcription.delta 发送文本片段,通过 conversation.item.input_audio_transcription.completed 发送最终转写文本。在 GPT-Live 中,将每个片段追加到来电者或助手的字幕中,两者可能同时更新。由您的应用决定如何组织文本,并通过音频播放器跟踪播放状态。请参阅显示字幕。
使用 response.create 启动或继续执行委派给 Responses 的任务。GPT-Live 在听取对话的同时自行决定何时说话。有关启动会话、问候、处理打断和关闭会话的步骤,请参阅管理会话。
拆分对话指令和后端指令
将 Realtime 助手迁移到 GPT-Live 时,请从现有提示词入手。将有关说话风格和发言时机的指令移入 Live 提示词,并添加何时委派任务的规则。将任务指令和工具使用流程保留在后端提示词中。
如果您要为文本智能体添加语音功能,请复用现有的后端提示词,并为语音交互编写 Live 提示词。
保持对话体验一致
保留助手的角色、服务对象和用途,以及影响对话体验的细节:
- 问候语、自我介绍和需要口头告知用户的事项,包括规定的措辞或顺序。
- 语言和发音要求,例如“用英语交谈”。
- 个性、亲切程度、共情方式、正式程度和说话节奏。
- 语音回复的详细程度,以及体现预期风格的示例。
- 如何简短回应用户、停下来倾听,以及在被打断时如何应对。
即使 Live 提示词很短,也可以要求助手给出详细的语音回复。
编写 Live 提示词
按照推荐的提示词结构描述助手的身份、说话风格和对话行为。保留 Backchannel policy 和 Interruption policy 两节,分别说明助手如何简短回应以示倾听,以及在对方打断时如何应对。
Live 需要了解后端的能力才能准确委派任务。用自然语言描述这些能力。函数名称和工具模式应放在负责处理工具调用的后端。
在 Delegation policy 下,根据应用需求调整以下各节:
Backend tools: 使用与现有提示词一致的术语,列出应用支持的功能。例如:“查询可预约的时段并安排回电。”Delegate to the backend when: 说明何时使用这些功能,例如:“当用户要求安排回电时,将请求委派给后端。”也要涵盖正在进行的任务所涉及的更正、确认和新增信息。Do not delegate to the backend when: 说明 Live 可以直接处理哪些情况,例如问候、简单追问以澄清意图,或复述对话中的信息或仍然有效的后端结果。
说明 Live 应如何告知用户任务进度、转达后端的下一个问题或传达已核实的结果。
如果助手可以结束通话,请在 Live 指令中说明如何道别,以及如何将结束通话的请求委派给后端。将实际结束通话的工具和操作顺序放在后端。例如,某个流程可能要求应用先播完告别语,再断开连接、取消待完成的计算,并阻止后续保存操作。Live 负责道别和委派,后端和应用负责其余步骤。
调整后端提示词
以原有提示词为起点。只要仍然适用,就保留原有措辞、顺序、示例和结构。如果提示词主要描述任务,大部分内容都可以沿用。
在后端提示词中保留以下指令:
- 理解用户请求、应用更正、收集缺失信息并跟踪任务进度。
- 运用领域知识、检查资格条件,并查询能提供确切答案的记录或服务。
- 按既定流程执行查询、更新、确认、分派、转接、回电以及其他受支持的操作。
- 执行安全、隐私和授权规则,处理失败情况,并限制转接或结束通话后的操作。
- 准备准确的信息、任务状态和下一个问题,供 Live 转达。
将语音表达、问候、发言时机和委派条件移入 Live 提示词。对于原先要求后端直接与用户交谈的指令,请改为让后端向 Live 返回信息。凡是安全和隐私限制会影响某个模型可以说什么、问什么或做什么,都应在该模型的提示词中保留这些限制,必要时在两份提示词中都保留。
在后端指令中保留函数名称、参数要求和工具使用流程。在后端工具配置中放置工具定义。您的应用负责执行工具,并根据当前任务状态检查权限、验证参数和核实必要的确认。
使用后端模型结合对话来理解用户的请求、更正和确认。正则表达式、关键词列表和精确短语匹配规则容易遗漏依赖前文或更正信息才能理解的含义。例如,“是的”可能是在确认某个时段、表示听到了问题,或是回应更早的建议。
保留相关规则,明确来电者打断助手、通话被转接或结束时,如何处理已在运行的任务。停止说话后,后端任务仍会继续。如果来电者要求取消,后端和应用需要处理取消请求,并将结果告知 Live。
解决指令冲突
检查原有提示词和两份新提示词,找出相互矛盾的指令。合并重复指令,将具体条件和例外与相应规则放在一起。核对权限、提问次数限制、确认要求,以及通话结束后允许执行的操作。
区分用户当前的意图和已经发生的操作。如果来电者将周五改为周四,最新请求表明后端应处理周四的预约,而预约记录才能说明周五是否已预约成功。后续允许做哪些更改,由现有的确认和授权规则决定。
在使用提示词之前,与相应的产品负责人商定预期行为。例如,如果一条指令要求继续办理预约,另一条却要求来电者打断助手时停止所有任务,就需要确定应用应采取哪种行为。在提示词中写明商定的行为,并在应用逻辑中落实。
检查每项必需操作是否都有相应实现。结束通话需要具备挂断能力,仅说出告别语会让连接保持打开。如果缺少某项能力,请决定是否实现它,或与负责该工作流的团队商定现有系统支持的替代方案。
检查两份提示词
将两份提示词与原文对照,确保每项必需行为都有相应指令:
- Live 提示词保留了助手的身份、用词、说话风格、必须告知用户的事项,以及被打断时的应对方式。
- 后端提示词保留了任务流程、事实、条件、示例、权限和失败处理方式。
- 委派规则涵盖新请求、更正、确认,以及同时涉及对话交流和任务信息的请求。
- 两份提示词对提问次数限制、何时视为已确认操作,以及如何处理进行中的任务、取消请求、转接和结束通话都有一致的规定。
将 Live 提示词放在 session.instructions 中。如果使用 Responses 委派,将后端提示词放在 session.delegation.responses.instructions 中;如果使用客户端委派,则将其保留在现有智能体的配置中。将工具定义保留在后端。有关配置和结果处理,请参阅委派和工具。
示例:拆分预约助手的提示词
这个预约助手已有 check_availability 和 book_appointment 两个工具。原有提示词同时描述了说话风格和预约流程。拆分后,问候语、确认要求和处理更正的方式均保持一致。
原有提示词
您是 Northstar Repairs 的预约助手 Rowan。
用英语交谈,语气平和,表达简洁。用以下原话问候来电者,只说一次:
"Hello, this is Rowan from Northstar Repairs. How can I help?"
倾听时简短回应,表示您在听。被打断时停止说话。
帮助来电者查询可预约的时段并办理预约。如果来电者尚未说明希望预约的日期或所在时区,先问清缺失的信息,再调用 check_availability。
只向来电者提供该工具返回的时段。请来电者确认要预约的具体时段,得到确认后才能调用 book_appointment。
如果来电者更改日期、时区或时段,清除之前的确认,重新查询可预约的时段。
只有在工具确认预约成功后,才告知来电者预约成功。如果结果不明确,请说明预约结果尚未确认,不要自动重试。Live 提示词
您是 Northstar Repairs 的预约助手 Rowan。
用英语交谈,语气平和,表达简洁。用以下原话问候来电者,只说一次:
"Hello, this is Rowan from Northstar Repairs. How can I help?"
Backchannel policy: 倾听时简短回应,表示您在听。
Interruption policy: 被打断时停止说话,听来电者说。
Delegation policy:
Backend tools:
- 预约:查询可预约的时段并办理预约。
Delegate to the backend when:
- 来电者希望查询可预约的时段或办理预约。
- 来电者提供或更正日期、时区或时段,或回答与预约有关的问题,包括确认具体时段。
Do not delegate to the backend when:
- 来电者打招呼,或请您复述仍然有效的结果。
- 您需要简短追问,才能弄清来电者的请求。
转达后端的问题和结果。只向来电者提供后端返回的时段。
只有在后端确认预约成功后,才告知来电者预约已完成。
如果后端报告结果不明确,请说明预约结果尚未确认。后端提示词
帮助来电者查询 Northstar Repairs 可预约的时段并办理预约。
如果来电者尚未说明希望预约的日期或所在时区,先问清缺失的信息,再调用 check_availability。只提供该工具返回的时段。
请来电者确认要预约的具体时段,得到确认后才能调用 book_appointment。
如果来电者更改日期、时区或时段,清除之前的确认,重新查询可预约的时段。
只有在工具确认预约成功后,才报告预约成功。如果结果不明确,请报告预约结果尚未确认,不要自动重试。
返回可预约的时段、预约结果或下一个要问的问题,供语音助手转达。
结合对话和当前任务状态,理解来电者最新的答复和更正。调整函数调用处理逻辑
保留 check_availability 和 book_appointment 的实现。将其定义从 Realtime 的 session.tools 或 response.tools 移至 delegation.responses.tools,并使用 Responses 的函数模式。将工具选择设置移至 delegation.responses.tool_choice 和 delegation.responses.parallel_tool_calls。请参阅配置 Responses 委派。
函数仍针对原始 call_id 返回结果。需要调整的是处理程序从哪里接收调用,以及通过什么事件发送结果:
| 步骤 | Realtime API | 使用 Responses 委派的 GPT-Live |
|---|---|---|
| 接收完整的函数调用。 | 读取 response.output_item.done。 |
解包 response.event,再读取其中的 response.output_item.done。 |
| 识别并执行操作。 | 读取事件项的 name、arguments 和 call_id,运行已获授权的处理程序。 |
保留该处理程序及其检查逻辑。在应用中保存外层的 delegation_id 和后端响应 ID。 |
| 返回每个函数的结果。 | 发送 conversation.item.create。 |
发送 response.item.create。 |
| 提交所有必需结果后继续。 | 发送 response.create。 |
发送 response.create 以继续处理后端任务。 |
例如,在 check_availability 返回已核实的可预约时段后,通过已连接的会话发送以下内容。将 call_availability 替换为您收到的调用 ID。
迁移前:Realtime 结果
{
"type": "conversation.item.create",
"item": {
"type": "function_call_output",
"call_id": "call_availability",
"output": "{\"available\":true,\"slot_id\":\"slot_friday_14\",\"booked\":false}"
}
}迁移后:GPT-Live 结果
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "response.item.create",
event_id: "availability_result_1",
item: {
type: "function_call_output",
call_id: "call_availability",
output: '{"available":true,"slot_id":"slot_friday_14","booked":false}',
},
});
}提交所有必需的函数结果后,让后端继续处理任务:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "response.create",
event_id: "continue_availability_1",
});
}迁移初期,将 parallel_tool_calls 设置为 false,以便每次处理一个工具调用。从内层的 response.output_item.done 事件中收集每个函数调用,保留其名称、参数和 call_id。即使后续的完成事件包含 output: [],也要保留这条记录。等到收到完整的调用项后再运行处理程序,因为仅表示参数已接收完毕的事件不含函数名称和 call_id。有关收集调用、提交输出和处理错误的完整步骤,请参阅处理函数调用结果。
保留上下文并应用更正
Responses 委派会向后端提供相关的语音对话上下文。请以应用中保存的预约状态为准,包括所选时段、已确认的时段、权限、正在执行的操作和结果。Live 对话历史可能会被压缩,不能用作预约记录。
当用户说“还是改到周五吧”时,将周五记录为当前请求的日期,并清除对周四时段的所有确认。为任务分配新的版本号,例如版本 2,以便应用识别来自旧请求的结果。
办理预约前,检查日期、时段和确认信息是否仍与当前请求一致。如果用户更改了请求,导致您不再执行待处理的函数调用,请根据实际情况返回结果,说明该调用已跳过或取消。让后端继续处理任务前,请为每个必需的调用提交结果。
如果周四的预约已经成功,请先核实其当前状态并处理用户要求的更改,再尝试新的预约。
原样保存收到的每个转写片段,并一并记录说话人、start_ms 和 end_ms。根据这些信息更新来电者或助手对应的字幕或聊天气泡,即使片段延迟到达或双方同时说话,也应归到正确的一方。由应用决定如何划分消息,由播放器跟踪音频播放状态。转写时间戳无法精确标明每个词的播放时刻。如果用户意图不明确,请向用户核实重要的日期、姓名和数字。有关转写和上下文处理,请参阅管理会话。
图像和屏幕上下文: 如果 Realtime 应用接受图像输入,请将图像发送到具备视觉能力的后端,并将相关文本返回给 GPT-Live。客户端委派和 Responses 委派均支持这种方式。请参阅添加图像和视觉上下文。
保留依赖音频的判断逻辑
有些判断需要听到声音本身,例如检测语音信箱的提示音,或根据播放时机识别预录的问候语。GPT-Live 可以听到通话内容,但委派任务时不会自动将音频发送到后端。在客户端模式下,session.delegation.created 包含 ID 和时间信息,由您的应用提供请求上下文和后端所需的音频。
要检测是否由自动答录系统接听,请显式将传入的音频发送到具备音频处理能力的检测器。您可以评估一种由应用管理的方案,在通话的部分时段,让独立的 Realtime 会话与 GPT-Live 同时运行:
- 将传入的通话音频复制一份,同时发送给两个会话。
- 让检测器通过结构化函数调用报告分类结果。根据您的模式校验每个结果,拒绝过时结果,并在证据不足时将状态保留为“未知”。允许根据后续证据修正判断。
- 向 GPT-Live 发送相关且可信的上下文,并按照应用策略控制向对方播放的音频。
分别判断两件事:对方是真人还是机器,以及对方是否已经可以录制您的留言。检测器可能在语音信箱仍在播放问候语时就识别出了语音信箱。等到取得应用要求的证据后,再允许向对方播放音频。上下文更新的确认回执仅表示更新已被接受,是否播放仍由应用决定。请参阅调整防护措施和播放控制,在应用控制的音频路径中落实这一决定。
测试以下情况:开头只有一声简短的“您好”,随后才听出是语音信箱的问候语;对方播放来电筛选提示;语音信箱接听期间有人接起电话。如果您计划在通话结束前停止检测器,还要测试停止检测后有人接听的情况。根据测试结果和检测器带来的额外成本决定其运行时长。测试中应包括最初判断为“真人”、随后因收到更多音频而改变判断的情况。
从文本智能体或链式处理流程迁移
迁移前: 文本智能体接收书面请求,并使用自己的工具和已保存的状态。在链式(也称级联式)语音处理流程中,先将语音转为文本交给智能体,再将其输出的文本转为语音。
迁移后: GPT-Live 提供语音交互,并将任务委派给现有智能体。对于链式流程,GPT-Live 取代了原先独立的语音转文本和文本转语音环节。在后端保留仍适用于任务的模型、指令、工具、工作流和持久状态。
连接现有智能体
将 delegation 配置为 {"type":"client"},这项配置在设置会话时完成。您的应用会收到类似以下内容的通知:
{
"type": "session.delegation.created",
"offset_ms": 1000,
"delegation": {
"id": "item_appointment_1",
"type": "delegation",
"target": "client"
}
}收到通知后,启动应用的委派处理程序。保留 delegation.id,以便将结果关联到同一个请求。处理程序根据来电者和助手的转写文本以及应用保存的任务记录,为智能体准备输入。通知本身不含请求文本或工具参数。
例如,预约智能体可能会收到以下信息:
来电者:“还是改到周五吧。”
当前请求:按来电者所在时区查询周五可预约的时段。
上次结果:已向来电者提供周四下午 2 点这一时段。
确认状态:尚未确认周五的任何时段。
任务版本:2。
通知可能在整句话转写完毕之前就到达。请保留通知,等到上下文充分后再采取行动,或先请来电者澄清。
在文本应用中,您可能会将用户的最新消息直接传给智能体。使用 GPT-Live 时,请添加一个适配器,为智能体提供所需的上下文并返回简明、已核实的结果。
调用适配器前,记录委派 ID,确保只有一个处理程序开始处理这项委派。如果请求不明确,请等上下文就绪后再次调用适配器。
授权、确认、操作 ID 和重试仍由后端负责。在更改预约之前,请检查任务的当前版本。适配器稍后执行的版本检查只能防止助手播报过时结果,无法撤销已经办理的预约。
import type {
ServerEvent,
CommentaryAppendEvent,
DelegationCreatedEvent,
} from "openai/resources/live/live";
type AgentContext = {
revision: number;
recentConversation: string;
task: string;
};
type DelegationApp = {
readContext(): AgentContext | null;
runAgent(context: AgentContext): Promise<string>;
currentRevision(): number;
send(event: CommentaryAppendEvent): void;
};
async function handleDelegation(event: ServerEvent, app: DelegationApp) {
if (
event.type !== "session.delegation.created" ||
event.delegation?.target !== "client"
)
return;
const context = app.readContext();
if (!context) return; // Retain the notice; resolve the request before acting.
const summary = await app.runAgent({
revision: context.revision,
recentConversation: context.recentConversation,
task: context.task,
});
if (app.currentRevision() !== context.revision) return;
app.send({
type: "session.commentary.append",
event_id: crypto.randomUUID(),
delegation_id: event.delegation.id,
content: summary,
});
}在应用中实现上下文回调和智能体回调。上下文回调返回最近的对话和当前任务,如果请求仍不明确,则不返回值。智能体回调运行现有后端,并返回不超过 500 个 Token 的已核实摘要。在 JavaScript 中,应用提供的 send 回调通过 Live 连接发送 JSON 事件。在 Python 中,适配器直接通过 SDK 的 connection 发送更新。
对于预约助手,上下文应明确用户请求的日期和时区、之前提供的时段、已确认的时段(如有),以及最新的更正。查询结果应说明某个时段可以预约,同时明确尚未办理预约。只有预约成功后才返回预约成功的确认信息。有关完整设置和结果处理流程,请参阅客户端委派。
传递更新和更正
在后端保留结构化工具输出和工作流细节。向 GPT-Live 返回简短、符合事实的更新:
- 使用
session.thinking.append提供后台任务进度,例如某项查询仍在进行。 - 使用
session.commentary.append传递需要播报给用户的已核实结果。 - 使用
session.instructions.append提供由应用编写的行为指令。
这三类更新的 content 都是纯字符串,最多 500 个 Token,且都必须提供 delegation_id。对于相关任务,请使用原始客户端委派 ID;对于通用会话上下文,请使用 null。使用 client_event_id 将每个确认回执与发送的指令对应起来,以确认更新已被接受。通过助手的转写事件观察已生成的语音内容,通过播放器状态跟踪播放情况。请参阅选择合适的更新类型。
当用户说“还是改到周五吧”时,将周五保存为当前请求的日期,递增请求的版本号,并清除对周四时段的所有确认。将更正发送给现有智能体。对于周四的查询,请决定是请求取消、修改查询,还是让它执行完毕后丢弃结果。
跟踪查询状态,确认已取消后再向用户报告。即使用户打断助手后助手已停止说话,后端仍需落实对查询的处理决定。
语音会话结束后,后端任务可能仍在运行。请在应用中持久保存其状态。在后续语音交互中,使用已保存的相关上下文启动新会话。请参阅管理会话。
让智能体继续接收键入的文本
继续将用户键入的文本发送到现有后端。将键入的更正视为对同一任务的更新,并向语音会话发送相关且已核实的上下文。请参阅接受键入的文本和确保更新准确且有用。
调整文本和语音防护措施
文本智能体或链式处理流程可以先验证完整回复,再显示或播报。使用 GPT-Live 时,对话和后端任务会同时进行。如果每次语音回复都必须先通过检查才能让用户听到,请在应用控制的音频播放路径中执行这项检查。仅暂缓返回后端结果无法暂停所有语音。
请按照调整防护措施中的步骤,保留现有检查,并考虑助手可能持续说话的情况。
调整防护措施
无论从哪种架构迁移,都应保留现有应用的输入和输出防护措施。在后端执行任务和策略检查期间,GPT-Live 可以继续说话,因此请同时检查对话内容和后端执行的操作。
如果服务器需要监控或控制浏览器的 WebRTC 会话,请接入带外 WebSocket 连接,以接收转写文本并发送纠正指令。音频仍通过 WebRTC 传输。如果服务器已通过主 WebSocket 连接传输音频流,请使用该连接的事件流执行这些检查。选择 Responses 委派本身并不要求建立带外连接。
- 监控用户和助手的转写事件,在对话进行的同时执行检查。
- 在应用代码中阻止受影响的工具调用和外部操作。如果支持取消,请取消由应用管理的相关任务,并防止延迟到达的结果使已阻止的请求继续执行。
- 发送
session.instructions.append来纠正助手的行为,并在应用中记录这一决定。
例如,如果来电者未经授权便要求预约助手修改他人的预约,应在预约操作执行前将其阻止。然后指示助手向来电者说明无法进行这项更改。请核实预约记录确实未变,并检查助手的语音回复。仅靠口头拒绝无法落实权限控制。
纠正指令无法收回用户已经听到的音频。如果应用需要在播放前检查助手的语音,请按照在播放前检查语音中的步骤处理缓冲、审批、中断和恢复。有关操作控制和纠正指令示例,请参阅实施对话防护措施。如果开场白有规定措辞,请参阅播报须告知用户的事项。
验证迁移结果
使用当前应用中的代表性对话,对比迁移前后助手的表现。保持场景、后端工具和成功标准一致,重复测试每个场景,并分别记录预期的行为变化和回归问题:
- 操作和语音确认: 查询可预约的时段,请用户确认,并且只预约已确认的时段。分别核实后端结果、语音答复和客户端播放情况。
- 更正和防止重复操作: 在请求仍在处理时,将周四改为周五。丢弃过时结果,确保重试不会产生第二笔预约。
- 权限: 尝试执行未经授权的操作,以及未得到确认的预约。检查应用策略是否阻止执行。
- 防护措施介入: 在助手说话期间和工具执行期间触发检查。确认助手收到纠正指令,即使工具结果延迟到达,受影响的操作仍被阻止,并且播放按预期恢复。检查正在执行的操作是否确实停止。测试中应包括检查耗时较长和误报的情况。
- 打断: 在助手说话或处理任务时开口说话。分别验证对话、音频播放和后端任务状态。
- 失败和重新连接: 测试工具报错、结果丢失和连接断开。如果预约请求的响应丢失,请先检查预约是否已成功,再决定是否重试。使用已保存的任务上下文启动下一次语音会话,并确认它能根据已有结果继续处理任务。
请参考降低后端延迟优化迁移后的后端。使用 Cookbook 中的语音智能体评估示例对比用户听到有用答复所需的时间和任务成功情况,并参考成本优化比较用量和成本。