GPT-Live 负责语音对话,并将推理和工具调用委派给后端。后端任务可以由配置好的 Responses 模型执行。如果使用客户端委派,也可以由您的应用运行的任何模型、智能体或服务执行。无论采用哪种模式,权限、确认流程、业务记录和任务状态都由您的应用管理。
请参阅提示词指南,了解如何引导实时模型委派任务和使用工具。
本页的事件示例使用 connection,它是按连接指南建立的 Live 主 WebSocket 连接或旁路连接。如果使用主连接,请等待 session.started 后再调用事件辅助函数。已接入的旁路连接已关联到正在运行的会话。
选择委派模式
在 Responses 委派 模式下,GPT-Live 会调用您选择的 Responses 模型,提供对话上下文,并将后端结果返回到实时对话中。在 客户端委派 模式下,由您的应用准备上下文,运行智能体或工作流,再将结果发回 GPT-Live。
如果您希望 GPT-Live 管理请求,可以先使用 Responses 委派。如果您需要运行自己的工作流,或在将结果发给 GPT-Live 前先进行审核,请选择客户端委派。
| 考虑因素 | 适合选择 Responses 委派的情况 | 适合选择客户端委派的情况 |
|---|---|---|
| 实现成本 | 您希望 GPT-Live 准备后端请求、管理连接,并将结果返回到对话中。 | 您希望自行实现和运行这些功能。 |
| 审核后端结果 | 后端输出可以直接返回给 GPT-Live。 | 在结果送达 GPT-Live 前,您的应用必须验证结果、隐去敏感内容、合并结果或丢弃结果。 |
| 后端能力 | GPT-Live 支持的 Responses 设置和工具能满足工作流的需求。 | 您需要使用其他后端、多个模型,或托管配置不支持的 API 功能。 |
| 上下文管理 | GPT-Live 提供的对话上下文能满足应用的需求。 | 您需要为每个后端请求精确选择要提供的历史记录、记忆和应用状态。 |
| 执行策略 | 配置好的模型和工具调用循环足以完成任务。 | 您需要自定义代码与模型之间的路由、设置回退机制或检查点,或为多个后端步骤统筹预算。 |
例如,旅行助手可以将航班状态问题发送给航空公司的服务,将行程变更交给另一个规划智能体。应用决定调用哪个后端,以及将哪项经过验证的结果返回给 GPT-Live。
在两种模式下,您的应用都要跟踪任务进度,并在运行自定义工具前检查权限,核实用户是否已完成必要的确认。应用审核后端结果时,GPT-Live 可以继续说话。如果应用必须控制用户何时听到音频,请添加播放控制。
使用客户端委派还需要您的应用维护对话上下文。委派事件只包含元数据,不包含任务文本。请结合转录事件和应用状态准备后端请求。
在评估语音智能体时,请用您自己的工作负载比较延迟、任务成功率和成本。如需针对现有架构的指导,请参阅迁移到 GPT-Live。
请在创建会话时选择模式。如需更改模式,请启动新会话。
配置 Responses 委派
请在创建 Live 会话时添加以下委派配置。Responses 模型可以独立于语音模型选择:
export const session = {
model: "gpt-live-1",
delegation: {
type: "responses",
responses: {
model: "gpt-6-luna",
instructions: "[Your backend prompt]",
},
},
};可以先使用 gpt-6-luna。对于更复杂的后端任务,可以尝试 gpt-6-sol。选择后端模型前,请用您的实际任务比较回答质量和延迟。
在 delegation.responses.tools 中注册支持的工具。将 delegation.responses.tool_choice 设为 "auto" 可让后端自行选择工具,设为 "required" 可要求调用工具,设为 "none" 可禁用工具调用。您也可以按名称指定函数。
将 delegation.responses.parallel_tool_calls 设为 true 可允许在一个响应中发起多个工具调用,设为 false 则按顺序调用。您的应用负责执行自定义函数,并检查其依赖项和所需审批。这些设置在 GPT-Live 发起委派后生效。请使用实时模型的提示词引导它判断何时委派。
创建会话时,Responses 配置必须指定后端 model。除下文列出的工具外,还可以配置 max_output_tokens(设置时不得小于 16)、service_tier,以及所选后端模型支持的 reasoning 和 text 设置。可调节的设置请参阅降低后端延迟。
如果您的模型和项目支持快速模式,可考虑将其用于对延迟敏感的调用。在 GPT-Live 中,使用 delegation.responses.service_tier: "priority" 选择该模式。
对话期间,发送 session.update,并在 session.delegation.responses 中指定更改,即可更新后端模型、指令、工具、tool_choice 或其他受支持的设置。省略的设置会保留当前值。
要在 Responses 委派和客户端委派之间切换,请创建新的 Live 会话。将 delegation 更新为 null 表示选择客户端模式,因此向正在运行的 Responses 会话发送此更新会失败,并返回 immutable_field_update。
这些设置沿用了 Responses 的概念,但 Live 只支持独立 Responses API 的部分功能。Live 提供对话上下文并发起委派任务。请通过会话配置后端。Live 的 response.create 命令使用该配置,不接受独立 Responses API 的请求体。
添加托管工具
将网页搜索、文件搜索、代码解释器、托管式 Shell 或图像生成添加到 delegation.responses.tools。配置方法、支持的模型和所需资源请参阅各工具的指南。Responses 会运行这些工具并自动返回结果。
使用 Shell 时,请使用托管容器,也可以搭配技能。对于新上传的技能,请等到引用的版本可读取后再启动 Live 会话。如果使用本地 Shell,调用必须由您的应用执行。Live 不支持 Shell 的 domain_secrets。
添加 MCP 和其他工具
Responses 委派还支持 MCP、工具搜索、编程式工具调用、函数和自定义工具、计算机使用、本地 Shell 和应用补丁。设置方法请参阅相应指南。请按 Live 续接响应的流程返回应用执行结果和审批决定。
Live 会将您提供的 MCP authorization 和 headers 传给 Responses,但返回给应用的会话配置中不会包含这些值。更新指令等其他设置时,无需重新发送这些值。如果替换 delegation.responses.tools,请再次提供 MCP 凭据。
处理配置错误
Live 会在启动后以及设置变更时异步验证 Responses 设置。session.started 和 session.updated 都不会等待验证完成。请监听 error 事件。如果错误代码为 responses_validation_failed,请查看错误消息,找出不支持的设置或无法访问的资源。会话会保持打开,设置不会回滚。请使用 session.update 修正设置。
例如,如果技能的 version 使用数值(如 1),则会产生非致命的 responses_validation_failed 错误,对应的事件为 session.start 或 session.update。错误消息会指出无效字段和预期类型,无需等到 response.create。请使用 error.client_event_id 找到对应的设置事件。要在同一会话中恢复,请通过 session.update 移除无效的工具配置。版本号应使用字符串,例如 "1"。
验证通过并不保证之后能成功执行工具。资源访问权限和工具可用性可能变化,因此在执行委派任务期间仍需处理后端错误。配置托管工具时,验证过程可能会初始化容器等资源。
从应用引导实时对话
Responses 委派负责管理后端工作流,但您的应用仍可直接向 GPT-Live 模型发送上下文。如果通过旁路 WebSocket 或主事件连接监听通话,可以使用 session.instructions.append、session.thinking.append 或 session.commentary.append,并指定 delegation_id: null。例如,基于转录文本的防护机制可以追加指令来调整对话方向。这只会引导实时模型,不会更改 Responses 后端的提示词,也不会取消正在执行的任务。
处理 Responses 委派
对于由 Responses 执行的任务,session.delegation.created 包含 target: "responses" 和一个 response_id。后续 Responses 事件会封装在 response.event 中:
{
"type": "response.event",
"event_id": "event_response_1",
"delegation_id": "item_9tA2cB6n2V8c4X1z7Q5r9",
"event": {
"type": "response.output_text.delta",
"sequence_number": 4,
"item_id": "msg_123",
"output_index": 0,
"content_index": 0,
"delta": "The forecast is",
"logprobs": []
}
}当顶层事件类型为 response.event 时,请根据 envelope.event.type 分派处理。保存外层的 delegation_id,以便将后端事件与对应的委派关联起来。除这里展示的事件外,您的处理程序还可能收到其他嵌套的 Responses 生命周期事件。
托管工具的进度、引用来源、文件和生成的图像都会通过这些嵌套事件送达。请从各个输出项事件和部分图像事件中收集结果,因为转发的生命周期快照会省略输出数组中的内容。使用相应的 Responses 文件 API 或容器 API 下载文件。对于包含大型图像或其他大型产物的事件,请使用 WebSocket 或旁路连接,因为 WebRTC 数据通道允许的单条消息大小可能更小。
实时语音和委派任务独立进行。后端响应完成并不表示用户已经听到答案。要了解交互中实际说出的内容,请使用 Live 的输出转录文本和音频。
返回工具结果和审批决定
对于需要应用提供输入的工具,请从嵌套的 response.output_item.done 事件中收集已完成的调用。执行已获授权的操作或完成审批检查,然后通过 response.item.create 发送相应的结果项:
| 收到的项 | 结果项 |
|---|---|
function_call |
function_call_output |
custom_tool_call |
custom_tool_call_output |
computer_call |
computer_call_output |
本地 shell_call |
shell_call_output |
apply_patch_call |
apply_patch_call_output |
tool_search_call,其中 execution: "client" |
tool_search_output,其中包含 execution: "client" 和找到的 tools |
mcp_approval_request |
mcp_approval_response |
使用 call_id 将结果与调用匹配。对于 MCP 审批决定,应将 approval_request_id 设为审批请求的 id,并将 approve 设为 true 或 false。已完成的 mcp_call 本身不要求客户端返回结果。请遵循每种工具的结果模式,包括为编程式函数调用提供 caller 元数据,以及为计算机操作提供所需的安全确认。
为每个等待结果的调用提交结果,然后发送 response.create。仅追加结果项不会让后端继续运行。如果缺少结果,会收到 tool_outputs_required;如果仅缺少函数结果,则会收到 function_call_outputs_required。重复的结果和类型不匹配的结果都会被拒绝。
您可以在当前后端响应完成前提交结果并请求继续执行。已被接受的 response.create 会等待当前响应完成,请勿重新发送。如果后端随后又发出其他调用,请提交这些调用的结果,并再次发送 response.create。
运行自定义函数并返回结果
从嵌套的 response.output_item.done 事件中读取已完成的函数调用。完整的函数调用项包含 call_id、name 和 arguments。仅凭参数接收完毕的事件无法识别对应的调用。
请同时记录嵌套的 response.created 事件中的响应 ID 和外层的 delegation_id。从 response.output_item.done 中收集该响应的函数调用,并据此确定在继续执行前需要提交哪些工具结果。
在转发的生命周期事件(包括 response.completed)中,即使有函数调用需要返回结果,输出字段也始终为 response.output: []。这些事件的 tools 数组也为空,instructions: null,且不含 input 字段。请从各个输出项事件中读取函数调用。
执行已获授权的操作后,将结果作为 Responses 项追加:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "response.item.create",
event_id: "tool_result_1",
item: {
type: "function_call_output",
call_id: "call_123",
output: '{"status":"confirmed","order_id":"order_123"}',
},
});
}然后显式请求继续生成响应:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "response.create",
event_id: "continue_1",
});
}对每个等待结果的函数调用,通过 response.item.create 发送结果,然后发送 response.create 以继续生成后端响应。response.item.create 不会单独确认成功,请继续处理错误和嵌套的 Responses 生命周期事件。
这两条命令都要求使用 Responses 委派。Live 的 response.create 命令使用会话中保存的后端配置。请使用上面展示的事件载荷,并通过会话配置后端模型和其他设置。
配置客户端委派
请设置 delegation,在创建 Live 会话时传入该配置:
export const session = {
model: "gpt-live-1",
delegation: {
type: "client",
},
};您的应用负责配置和运行后端,包括选择模型或服务、指令、工具和路由方式。如果后端使用 Responses API,请在应用发出的 Responses 请求中设置模型和工具。
GPT-Live 请求协助时,请根据已保存的对话历史和当前任务状态构建后端请求。检查权限和所需确认,执行任务,并选择要返回的结果。
在应用中维护对话上下文
使用客户端委派时,请自行收集转录文本并维护当前任务状态。
监听 session.input_transcript.delta 和 session.output_transcript.delta。这些事件的 delta 字段包含转录文本,同时还提供 start_ms 和 end_ms 时间戳。保留足够的历史记录,以便理解“是的”之类的简短回答、“是周四,不是周五”之类的更正,以及用户先前提供的细节。单个转录片段不代表用户在一轮对话中说出的全部内容,转录文本也可能有误。
单独发送的 session.delegation.created 事件包含 offset_ms 时间戳和委派元数据,包括 delegation.id 和 delegation.target。它不包含用户说的话或任务文本。请结合转录事件和应用状态判断用户的意图。保存 delegation.id,以便将后续更新与该请求匹配。
将较长的记录和完整的工具输出保存在后端。如果创建新会话来替换原会话,请从应用中恢复相关上下文,并在重新执行任务前检查哪些操作已经执行过。
接收客户端委派
session.delegation.created 事件标识一项委派:
{
"type": "session.delegation.created",
"event_id": "event_delegation",
"offset_ms": 1000,
"delegation": {
"id": "item_9tA2bF3h7K9m2P5q8R1s4",
"type": "delegation",
"target": "client"
}
}保存 event.delegation.id,并在发送与该任务相关的更新时原样提供这个值。
使用该 ID 返回结果:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "session.commentary.append",
event_id: "result_123",
delegation_id: "item_9tA2bF3h7K9m2P5q8R1s4",
content: "The order shipped today and should arrive tomorrow.",
});
}对于需要 GPT-Live 说给用户听的结果,请使用 session.commentary.append。模型经过训练,会用自己的话转述这些文本。对于可供后续回答使用、但无需在收到时说出来的事实或进度信息,请使用 session.thinking.append。您可以使用同一个客户端委派 ID 发送多次更新。
有关内容限制和必填字段,请参阅选择合适的更新类型。如果希望后端运行期间不触发口头回应,请参阅在工具运行期间抑制自动回应。
从现有的后端提示词入手
您可以从现有文本智能体的提示词入手。在后端保留其中的任务指令和业务规则,并调整那些默认采用文字聊天或默认能直接控制语音输出的指令。说明如何处理语音转录文本以及如何返回有用的结果。请在应用中落实权限控制和必要的确认流程。
## 语音对话上下文
请协助正在进行实时语音对话的助手。转录文本可能有误,也可能包含没说完的话或说话人随后作出的更正。
请以最新的上下文和已核实的记录为依据。如果完成任务所需的某个细节仍不明确,请追问该细节,不要猜测。
## 任务指令
[Your task instructions, business rules, available tools,
and confirmation requirements.]
## 返回结果
返回相关事实、任务的当前状态和下一步要做的事。
只有在工具或服务确认操作成功后,才能报告该操作已完成。
如果结果尚不明确,请如实说明,并指出还需要核查哪些信息。将大型结构化载荷、较长的工具输出和用于展示的 Markdown 保留在后端。向 GPT-Live 提供相关事实,由它决定如何表述。对于简明的工具结果,无需额外调用模型将其改写为口语。
使用客户端委派时,请直接将结果返回给 GPT-Live。使用 Responses 委派时,请返回所需的工具结果或审批决定,以便后端继续运行。托管工具无需应用提供结果即可继续运行。
选择合适的更新类型
根据您希望 GPT-Live 如何使用这些内容来选择事件:
| 要发送的内容 | 事件 |
|---|---|
| 用于引导当前实时对话的指令,例如要求告知用户某项信息或停止说话 | session.instructions.append |
| 用于内部推理的信息,追加时不会说出来,但可用于回答用户的相关问题 | session.thinking.append |
| 需要模型用自己的话说给用户听的信息 | session.commentary.append |
这三种事件的 content 都是纯字符串,每次追加最多 500 个 Token。请提供 delegation_id:如果更新与某项任务有关,请使用原始客户端委派 ID;如果发送通用会话上下文,请使用 null。非空 ID 必须对应已知的客户端委派。指令仍作用于实时会话,指定 ID 并不会将其变成单独的后端提示词。
如需在开场时主动问候,请在创建会话时将一条 developer 消息放入 session.input。有关启动步骤,以及在需要逐字播报或验证客户端已播放问候语时如何由应用控制播放,请参阅在来电者开口前问候。
追加指令可能会打断模型当前的发言或行为。应用需要调整对话方向时可使用这种方式,同时应通过应用状态落实对相关工具调用或操作的限制。
如需在客户端管理的任务期间更新进度而不播报,可以这样做:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "session.thinking.append",
event_id: "availability_progress",
delegation_id: "item_123",
content: "Checking Thursday availability. No appointment has been booked.",
});
}预约确认后,发送用户应听到的结果:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "session.commentary.append",
event_id: "appointment_result",
delegation_id: "item_123",
content: "Your appointment is confirmed for Thursday at 2:00 PM",
});
}只有在预约确实成功后才能发送该结果。对于适用于整个会话的指令,请使用 session.instructions.append 并指定 delegation_id: null。
例如,应用根据防护规则拦截请求后,可以这样调整对话方向:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "session.instructions.append",
event_id: "guardrail_block_17",
delegation_id: null,
content:
"Stop speaking about that request. Briefly explain that you cannot help with it, then wait for the user.",
});
}这条指令不会取消后端任务。请在应用中阻止相关操作,并处理已经开始执行的任务。
对应的确认事件分别为 session.thinking.appended、session.commentary.appended 和 session.instructions.appended。请将其中的 client_event_id 与发出事件的 event_id 匹配。确认事件会等到预计上下文已注入时发出,不会等待模型说完或音频播放完毕。有关时序和错误处理,请参阅了解上下文何时送达模型。
请发送 GPT-Live 在对话中可以使用的事实和简短的进度摘要。通过 session.thinking.append 发送的内容可能影响后续语音回答,因此请将机密信息和后端的私有推理过程保留在应用中。
在工具运行期间抑制自动回应
使用客户端委派时,您可以在自动回应生成前发送一条静默上下文更新,取消待生成的自动回应。
创建会话时设置 delegation.acknowledgement_delay_ms,为应用留出发送更新的时间。例如,可以使用以下客户端委派配置:
{
"delegation": {
"type": "client",
"acknowledgement_delay_ms": 800
}
}收到 session.delegation.created 后,立即发送 session.thinking.append,并将 content 设为空字符串。使用唯一的 event_id,并将 event.delegation.id 复制到 delegation_id。请先发送此事件,再等待后端结果:
{
"type": "session.thinking.append",
"event_id": "event_quiet_progress_1",
"delegation_id": "item_9tA2bF3h7K9m2P5q8R1s4",
"content": ""
}让后端继续执行任务。结果经验证且可以播报时,请通过 session.commentary.append 发送,并使用相同的委派 ID。如果希望提供进度信息,也可以在追加的推理上下文中写入 "Lookup in progress." 这样的事实性消息。这样也会取消待生成的自动回应,同时不会要求模型播报该更新。
追加任何推理上下文或播报内容,都会取消会话中所有待生成的自动回应,包括其他委派的自动回应。这不会停止已生成的音频,也不会阻止模型自行发言。延迟设置控制的是请求自动回应的时间,模型仍可能提前说话。有关事件约定,请参阅客户端委派配置和推理上下文追加事件参考。
将 session.thinking.appended 事件的 client_event_id 与您发出的事件匹配。这可以确认上下文已送达,但无法保证模型保持静默。请使用您的实际工作负载测试音频输出。如果必须保证静默,请使用应用控制的播放机制。
提供准确、有用的更新
对于耗时较长的任务,请在有值得告知用户的变化时发送更新,例如某个步骤已完成、延迟会产生影响,或需要用户回答问题。
在客户端模式下,请使用 session.thinking.append 更新后台进度。如果更新值得说给用户听,请使用 session.commentary.append。
对于需要播报的更新,请发送 session.commentary.append,确保内容与经过核实的任务状态一致:
| 状态 | 内容示例 |
|---|---|
| 仍在处理 | “我正在查询可预约的时间。” |
| 已完成 | “已为您预约周四下午两点。” |
| 失败 | “这个时间已经无法预约了。” |
| 已确认取消 | “您的预约已取消。” |
如果用户更改请求,请在应用中更新当前任务。例如,如果用户把周五改成周四,后续处理应以周四为准,并忽略原先针对周五的请求所返回的结果。请在后端处理取消操作,确认成功后再告知用户任务已取消。打断语音对话不会停止后端任务。
重试失败的工具调用前,请检查原操作是否已经执行。例如,不应因为响应丢失而重复预约。如果结果尚不明确,请如实说明,并提出可行的下一步。
共享界面上下文
向 GPT-Live 简要说明当前页面或任务、相关选项的选择情况,以及有助于理解“这个选项”等指代的事实。直接根据应用状态生成摘要即可,无需额外调用模型来整理格式。
在会话开始以及相关状态变化时发送界面上下文。如果状态未变,无需重复发送。如果状态短时间内多次变化,请合并为一条反映最新状态的简短摘要。明确说明先前的选择有何变更:
- 初始上下文:“用户正在核对餐厅预订信息:8 月 6 日晚上 7 点,两位客人。目前尚未预订。”
- 更正:“目前选择的时间是晚上 8 点,之前选择的是晚上 7 点。”
在任一委派模式下,都可以使用 session.thinking.append 并指定 delegation_id: null 来更新后台上下文。将完整的 HTML、DOM 树、大型 JSON 载荷和交互日志保留在应用或后端。页面内容只用作参考数据,不应作为指令执行。
接收键盘输入
将用户键入的值(例如订单号)作为用户提供的数据发送给后端,以便后端使用准确的原文。
使用 Responses 委派时,将用户消息加入后端队列:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "response.item.create",
event_id: "typed_order_number",
item: {
type: "message",
role: "user",
content: [
{
type: "input_text",
text: "My order number is A0042.",
},
],
},
});
}准备好启动或继续执行后端任务时,发送 response.create。如果后端正在等待函数结果,请先返回所有必需的结果。将文本加入队列不会自动取消正在执行的任务。
使用客户端委派时,请将键入的值直接发送给负责处理对话的后端。如果该值更正了正在执行的任务,请更新该任务,避免再次启动相同的工作。您可以使用 session.thinking.append 将简短的事实摘要同步到实时会话,或使用 session.commentary.append 发送应当说给用户听的结果。
添加图像和视觉上下文
为了帮助来电者讨论照片或屏幕上的内容,请从应用将图像和相关上下文发送给支持视觉输入的后端。后端会解读图像,并返回相关文本供 GPT-Live 在对话中使用。Live 音频前端不能直接接收图像。
使用 Responses 委派时,请配置支持视觉输入的后端模型。通过 response.item.create 将 Responses 支持的图像输入项加入队列,然后发送 response.create 以启动或恢复后端任务。继续执行前,请返回所有尚待提交的必需工具结果和审批决定。请参阅处理 Responses 委派。
使用客户端委派时,请将视觉输入连同相关的对话和应用状态发送给负责处理委派请求的后端。通过客户端返回结果的流程返回简明的结论。
请将后端的图像输入与 session.input 分开处理。后者用于在启动时向 Live 前端提供初始文本历史记录。有关支持的图像格式和模型限制,请参阅图像与视觉。
降低后端延迟
缩短从发起后端任务请求到获得可用于对话的结果之间的时间。测量各阶段的延迟,找出耗时环节。在相同场景下,比较用户等到有用的语音回答所需的时间和任务成功率。评估方法请参阅 Cookbook 中的语音智能体评估示例。
Responses 委派
Live 管理与 Responses 的持久 WebSocket 连接,并提前准备已知的请求配置。如果当前连接和状态支持复用,Live 还可以复用之前的响应状态。请在您的实际工作负载下测量响应时间并查看报告的缓存使用情况,以了解效果。
通过 delegation.responses 调整后端配置:
model:独立于语音模型,选择负责推理和工具选择的后端模型。reasoning.effort:从该模型支持的值中选择,以平衡推理时间和任务质量。service_tier:根据模型支持情况和项目访问权限,使用auto、default、flex或priority。auto遵循项目配置。请评估所选服务层级的性能和成本。
会话期间可通过 session.update 更新受支持的设置。自定义工具仍在您的应用中运行,因此即使由 Live 管理 Responses 连接,缓慢的服务调用、排队和工具结果缓冲也可能延迟回答。请及时返回每个必需的工具结果,并继续生成后端响应。
客户端委派
从接收委派到返回结果,整个流程由您的应用负责。可以在语音会话进行期间做好以下准备:
- 复用后端连接。 在多次委派之间保持 API 客户端及其连接池可用。如果需要反复调用 Responses,可以考虑使用持久的 Responses WebSocket 连接。
- 提前准备已知配置。 在首个请求需要用到指令、工具和连接之前,先将其初始化。Responses WebSocket 模式还支持在生成响应前预热已知的请求状态,具体步骤请参阅设置指南。
- 以流式方式返回有用的结果。 通过
session.commentary.append分段返回连贯且经过验证的内容。使用session.thinking.append更新进度而不播报。保留客户端委派 ID,每次追加不得超过 500 个 Token。将私有推理过程保留在后端,并在宣布成功前确认操作已完成。 - 保持可复用的输入稳定。 保持指令、工具定义及其顺序不变,并保留历史记录中未更改的前缀。如果后端支持缓存和续接,请将新信息追加到可复用内容之后。
- 转发完整、有用的更新。 每条结果的文本一旦足以独立表达完整意思,就立即发送。让后端标明每条更新是进度还是结果,以便应用选择合适的追加事件。如果后端用文本前缀标记类别,请等到收到完整前缀后再转发更新。
将此流程与 Responses 委派比较时,请测量用户等到第一条有用的语音回答所需的时间。
根据转录片段采取行动
您可以选择在应用中处理转录片段,两种委派模式都支持这种做法。用户和助手的转录片段会通过 WebSocket 或 WebRTC 数据通道送达。您可以通过应用逻辑或轻量级模型处理这些片段,在委派事件到达前开始执行任务,也可以直接用转录文本触发由应用负责的任务。
这种做法可以用于:
- 缩短等待时间。 信息足够时,提前发起试探性查询。例如,在用户继续描述偏好时,先查询有哪些选项可用。
- 执行防护检查。 持续检查新增的转录内容,识别需要干预的请求或回答。请参阅应用对话防护规则。
- 调整对话。 识别可能表明用户困惑或受挫的措辞,并据此调整交互方式或发送有针对性的指令。
- 更新界面。 突出显示相关控件、为字段填入建议值,或在结果可用时立即展示。
对于浏览器应用,请通过 WebRTC 数据通道提供字幕并更新本地界面。如果在服务器上处理转录文本,例如执行防护检查、用轻量级模型进行检查或提前试探性地调用工具,请使用旁路 WebSocket接收事件,并直接引导同一个 GPT-Live 会话。
出现有意义的新信息时,再处理已累积的文本。单个片段可能不完整,用户随后说的话也可能改变请求。请丢弃过时的结果,与后续委派任务协调以避免重复操作,并在执行会产生实际影响的操作前照常检查权限和所需确认。
使用与更新类型匹配的追加事件,将结论或指令发回 GPT-Live。对于在客户端委派之外启动的任务,请使用 delegation_id: null。您的应用负责更新界面,并管理工具的执行和取消。
通用优化方法
以下后端优化对两种委派模式都适用:
- 根据任务选择模型和推理强度。 比较满足准确性要求的配置。如果较低的推理强度能够可靠地完成任务,就使用较低的强度。
- 保持回答简洁。 返回 GPT-Live 继续对话所需的事实和任务状态。避免冗长的解释,也无需仅为了将结果改写成口语而额外调用模型。
- 减少工具延迟和不必要的调用。 输入就绪后即可开始已获授权的任务,在结果仍有效时复用结果,避免重复已完成的查询。
- 并发执行相互独立的任务。 彼此独立的查询可以同时运行。执行操作时,请遵循依赖关系并完成必要的确认。
parallel_tool_calls允许模型请求多个调用,自定义函数仍由您的应用调度和执行。
有关 Responses 的通用指导,请参阅延迟优化。有关如何复用稳定的输入,请参阅提示词缓存。
验证完整的交互流程
请分别验证后端是否完成了预期操作,以及客户端是否播放了预期的语音结果。例如,预约成功后,既要检查预约记录,也要检查实际播放的音频。即使语音回答被打断,后端也可能已经完成任务,因此应分别测试这两项结果。
为每项应用操作分配独立的操作 ID,为每次请求变更记录任务版本,并与 GPT-Live 委派 ID 一起保存。重新连接或重试后,可以根据这些记录识别已完成的任务,并丢弃过时请求的结果。
请参阅评估语音智能体,了解如何进行可重复的测试。如果您已有 Realtime 工具调用循环或链式后端,请按照迁移到 GPT-Live中的步骤操作。