GPT-Live 負責進行語音對話,並將推理和工具使用委派給後端。後端工作可以交由你設定的 Responses 模型執行。如果採用用戶端委派,也可以交由應用程式管理的任何模型、智慧體或服務執行。無論採用哪種模式,權限、確認程序、業務紀錄和任務狀態都由你的應用程式管理。
如要瞭解如何引導即時模型委派工作與使用工具,請參閱提示詞指南。
本頁的事件範例使用 connection,代表依照連線指南建立的 Live WebSocket 主連線或旁路連線。使用主連線時,請等到收到 session.started 再呼叫事件輔助函式。已接上的旁路連線屬於執行中的工作階段。
選擇委派模式
如果選用 Responses 委派,GPT-Live 會呼叫你選擇的 Responses 模型、提供對話上下文,並將後端結果傳回即時對話。如果選用 用戶端委派,則由你的應用程式準備上下文、執行智慧體或工作流程,再將結果傳回 GPT-Live。
如果希望由 GPT-Live 管理請求,可以先使用 Responses 委派。如果需要執行自己的工作流程,或在將結果傳給 GPT-Live 前先審查結果,請選擇用戶端委派。
| 考量因素 | 適合使用 Responses 委派的情況 | 適合使用用戶端委派的情況 |
|---|---|---|
| 實作成本 | 希望由 GPT-Live 準備後端請求、管理連線,並將結果傳回對話。 | 希望自行建置及維護這些功能。 |
| 審查後端結果 | 後端輸出可以直接傳回 GPT-Live。 | 在結果傳給 GPT-Live 前,應用程式必須先驗證結果、遮蔽敏感內容、合併或捨棄結果。 |
| 後端功能 | GPT-Live 支援的 Responses 設定和工具足以滿足工作流程需求。 | 需要其他後端、多個模型,或託管設定未涵蓋的 API 功能。 |
| 上下文管理 | GPT-Live 提供的對話上下文符合應用程式需求。 | 需要精確指定每個後端請求能取得哪些歷程紀錄、記憶和應用程式狀態。 |
| 執行策略 | 設定好模型與工具呼叫迴圈即可完成任務。 | 需要自訂程式碼與模型之間的路由,或為多個後端步驟設定備援機制、檢查點或預算。 |
例如,旅遊助理可以把航班狀態問題交給航空公司的服務處理,把行程變更交給另一個規劃智慧體。應用程式負責選擇要呼叫哪個後端,以及要將哪些經過驗證的結果傳回 GPT-Live。
無論採用哪種模式,都由應用程式追蹤任務進度,並在執行自訂工具前檢查權限,以及是否已取得使用者的必要確認。應用程式審查後端結果時,GPT-Live 仍可繼續說話。如果應用程式必須控制使用者何時聽到音訊,請加入播放控制。
使用用戶端委派時,應用程式還必須維護對話上下文。委派事件包含中繼資料,但沒有任務文字。請根據轉錄事件與應用程式狀態準備後端請求。
評估語音智慧體時,請以實際工作負載比較延遲、任務成功率和成本。如需適用於現有架構的指引,請參閱遷移至 GPT-Live。
請在建立工作階段時選擇模式。如要變更模式,請啟動新的工作階段。
設定 Responses 委派
建立 Live 工作階段時,請加入以下委派設定。Responses 模型可與語音模型分開選擇:
export const session = {
model: "gpt-live-1",
delegation: {
type: "responses",
responses: {
model: "gpt-6-luna",
instructions: "[Your backend prompt]",
},
},
};可以先使用 gpt-6-luna,或針對較複雜的後端任務試用 gpt-6-sol。選定後端模型前,請用實際任務比較回答品質與延遲。
在 delegation.responses.tools 中註冊支援的工具。將 delegation.responses.tool_choice 設為 "auto" 可讓後端自行選擇工具,設為 "required" 可要求後端必須呼叫工具,設為 "none" 則會停用工具呼叫。你也可以依名稱指定函式。
將 delegation.responses.parallel_tool_calls 設為 true,即可允許在同一個回應中發出多個工具呼叫。設為 false 則會依序呼叫。應用程式負責執行自訂函式,並檢查相依性和必要的核准。這些設定在 GPT-Live 委派工作後才會生效。請透過即時模型的提示詞引導模型判斷何時委派。
建立工作階段時,必須在 Responses 設定中指定後端 model。除了下列工具,你還可以設定 max_output_tokens(若有設定,值至少為 16)、service_tier,以及所選後端模型支援的 reasoning 和 text 設定。可調整的設定請參閱降低後端延遲。
如果你的模型和專案可以使用快速模式,可考慮將它用於對延遲敏感的呼叫。在 GPT-Live 中,使用 delegation.responses.service_tier: "priority" 即可選用此模式。
在對話期間,請傳送 session.update,並在 session.delegation.responses 中指定變更,即可更新後端模型、指示、工具、tool_choice 或其他支援的設定。未指定的設定會保留目前的值。
如要在 Responses 委派與用戶端委派之間切換,請建立新的 Live 工作階段。將 delegation 更新為 null 會選擇用戶端模式,因此若將這項更新傳送至執行中的 Responses 工作階段,就會失敗並傳回 immutable_field_update。
這些設定沿用 Responses 的概念,但 Live 僅支援獨立 Responses API 的部分功能。Live 會提供對話上下文並啟動委派工作。請透過工作階段設定後端。Live 的 response.create 指令會使用該設定,不接受獨立 Responses API 的請求主體。
新增託管工具
將網頁搜尋、檔案搜尋、程式碼解譯器、託管 Shell 環境或圖像生成加入 delegation.responses.tools。各工具的設定方式、支援模型及必要資源請參閱連結中的指南。Responses 會自動執行這些工具並傳回結果。
使用 Shell 時,請使用託管容器,也可以搭配技能。如果技能剛上傳,請等到可以讀取所參照的版本再啟動 Live 工作階段。本機 Shell 的呼叫必須由應用程式執行。Live 不支援 Shell 的 domain_secrets。
新增 MCP 與其他工具
Responses 委派也支援 MCP、工具搜尋、程式化工具呼叫、函式與自訂工具、電腦、本機 Shell和套用修補程式。設定方式請參閱各連結中的指南。請透過 Live 的接續流程傳回應用程式的執行結果與核准決定。
Live 會將你提供的 MCP authorization 和 headers 傳給 Responses,但傳回應用程式的工作階段設定不會包含這些值。更新指示等其他設定時,不必重新傳送這些值。如果替換 delegation.responses.tools,請再次提供 MCP 憑證。
處理設定錯誤
Live 會在啟動後及設定變更時非同步驗證 Responses 設定。session.started 和 session.updated 不會等到驗證完成才發出。請監聽 error 事件。如果錯誤代碼為 responses_validation_failed,請查看錯誤訊息,找出不支援的設定或無法存取的資源。工作階段會保持開啟,設定也不會還原。請使用 session.update 修正設定。
例如,如果技能的 version 使用數值(如 1),就會引發非致命的 responses_validation_failed 錯誤,無論是透過 session.start 或 session.update 指定版本都一樣。錯誤訊息會指出無效欄位及預期型別,不必等到呼叫 response.create。請用 error.client_event_id 找出對應的設定事件。如要在同一個工作階段中復原,請使用 session.update 移除無效的工具設定。版本請使用字串,例如 "1"。
通過驗證不代表工具之後一定能執行。資源的存取權和工具的可用性可能改變,因此執行委派工作時仍須處理後端錯誤。設定託管工具時,系統可能會在驗證期間初始化容器等資源。
從應用程式引導即時對話
Responses 委派會管理後端工作流程,你的應用程式仍可直接將上下文傳給 GPT-Live 模型。如果透過旁路 WebSocket 或主要事件連線監控通話,可以使用 session.instructions.append、session.thinking.append 或 session.commentary.append,並指定 delegation_id: null。例如,根據轉錄內容運作的防護機制可以附加指示,引導對話轉向。這些指示會引導即時模型,但不會變更 Responses 後端的提示詞,也不會取消已在執行的工作。
處理 Responses 委派
對於交由 Responses 處理的工作,session.delegation.created 會包含 target: "responses" 和 response_id。後續的 Responses 事件會包在 response.event 外層事件中傳送:
{
"type": "response.event",
"event_id": "event_response_1",
"delegation_id": "item_9tA2cB6n2V8c4X1z7Q5r9",
"event": {
"type": "response.output_text.delta",
"sequence_number": 4,
"item_id": "msg_123",
"output_index": 0,
"content_index": 0,
"delta": "The forecast is",
"logprobs": []
}
}當最外層事件類型為 response.event 時,請依 envelope.event.type 分派處理。儲存外層的 delegation_id,以便將後端事件與對應的委派關聯起來。除了此處列出的事件,處理常式還可能收到其他巢狀的 Responses 生命週期事件。
託管工具的進度、引用來源、檔案和生成的圖像都會透過這些巢狀事件傳送。請讀取個別輸出項目事件和圖像片段事件來收集結果,因為轉送的生命週期快照會省略輸出陣列。請使用對應的 Responses 檔案或容器 API 下載檔案。對於包含大型圖像或產出檔案的事件,請使用 WebSocket 或旁路連線,因為 WebRTC 資料通道允許的訊息大小可能較小。
即時語音與委派工作各自獨立進行。即使後端回應已完成,也不代表使用者已聽到答案。請透過 Live 的輸出轉錄和音訊掌握互動中的語音內容。
傳回工具結果與核准決定
如果工具需要應用程式提供輸入,請從巢狀的 response.output_item.done 事件收集已完成的呼叫。執行已獲授權的動作或檢查是否已取得核准後,使用 response.item.create 傳送對應的項目:
| 收到的項目 | 結果項目 |
|---|---|
function_call |
function_call_output |
custom_tool_call |
custom_tool_call_output |
computer_call |
computer_call_output |
本機 shell_call |
shell_call_output |
apply_patch_call |
apply_patch_call_output |
tool_search_call,含 execution: "client" |
tool_search_output,含 execution: "client" 及搜尋到的 tools |
mcp_approval_request |
mcp_approval_response |
使用 call_id 將結果與呼叫配對。對於 MCP 核准決定,則要將 approval_request_id 設為核准請求的 id,並將 approve 設為 true 或 false。已完成的 mcp_call 本身不需要用戶端傳回結果。請遵循各工具的結果結構描述,包括程式化函式呼叫的 caller 中繼資料,以及操作電腦時必須提供的安全確認。
提交所有待處理呼叫的結果後,再傳送 response.create。僅附加項目不會讓後端繼續執行。缺少結果時會收到 tool_outputs_required,如果只缺少函式結果,則會收到 function_call_outputs_required。系統會拒絕重複的結果,以及類型不符的結果。
你可以在目前的後端回應完成前提交結果並要求繼續執行。系統接受 response.create 後會等到目前的回應完成,請勿重新傳送。如果後端之後發出更多呼叫,請提交這些呼叫的結果,再傳送一次 response.create。
執行自訂函式並傳回結果
請從巢狀的 response.output_item.done 事件讀取已完成的函式呼叫。完整的函式項目包含 call_id、name 和 arguments。僅憑引數接收完畢的事件,無法識別是哪一次呼叫。
請一併追蹤巢狀 response.created 事件中的回應 ID 和外層的 delegation_id。從 response.output_item.done 收集該回應中的函式呼叫,再據此判斷繼續執行前必須提交哪些工具結果。
轉送的生命週期事件(包括 response.completed)都會包含 response.output: [],即使仍有函式呼叫需要結果也是如此。這些事件還包含空的 tools 陣列和 instructions: null,且沒有 input 欄位。請從個別輸出項目事件讀取函式呼叫。
執行已獲授權的操作後,將結果以 Responses 項目的形式附加:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "response.item.create",
event_id: "tool_result_1",
item: {
type: "function_call_output",
call_id: "call_123",
output: '{"status":"confirmed","order_id":"order_123"}',
},
});
}接著明確要求繼續處理回應:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "response.create",
event_id: "continue_1",
});
}針對每個待處理的函式呼叫,以 response.item.create 傳送結果,再傳送 response.create 讓後端繼續處理回應。response.item.create 不會另外發出成功確認,請繼續處理錯誤和巢狀的 Responses 生命週期事件。
這兩個指令都需要使用 Responses 委派。Live 的 response.create 指令會使用工作階段中儲存的後端設定。請使用上方所示的事件內容,並透過工作階段設定後端模型和其他選項。
設定用戶端委派
請設定 delegation,方式如以下建立 Live 工作階段的範例所示:
export const session = {
model: "gpt-live-1",
delegation: {
type: "client",
},
};你的應用程式負責設定並執行後端,包括選擇模型或服務、指示、工具和路由方式。如果後端使用 Responses API,請在應用程式的 Responses 請求中設定模型與工具。
當 GPT-Live 請求協助時,請根據已儲存的對話歷程和目前的任務狀態建立後端請求。檢查權限及必要的確認後,再執行工作並選擇要傳回哪些結果。
在應用程式中維護對話上下文
使用用戶端委派時,請自行收集轉錄內容並維護最新的任務狀態。
請監聽 session.input_transcript.delta 和 session.output_transcript.delta。這些事件會在 delta 中提供轉錄文字,並附上 start_ms 和 end_ms 時間戳記。請保留足夠的對話歷程,以便理解「是」這類簡短答覆、「是星期四,不是星期五」這類更正,以及先前提供的細節。轉錄片段並不等於使用者一輪發言的完整內容,轉錄也可能有誤。
另行傳送的 session.delegation.created 事件包含 offset_ms 時間戳記,以及 delegation.id 和 delegation.target 等委派中繼資料。這個事件不包含使用者的發言或任務文字。請根據轉錄事件與應用程式狀態判斷使用者的需求,並儲存 delegation.id,以便將後續更新與該請求配對。
請將篇幅較長的紀錄及完整工具輸出保留在後端。如果建立新的工作階段來取代原本的工作階段,請從應用程式還原相關上下文,並在重新執行工作前檢查哪些動作已經執行。
接收用戶端委派
session.delegation.created 會識別一筆委派:
{
"type": "session.delegation.created",
"event_id": "event_delegation",
"offset_ms": 1000,
"delegation": {
"id": "item_9tA2bF3h7K9m2P5q8R1s4",
"type": "delegation",
"target": "client"
}
}請儲存 event.delegation.id,並在傳送這項任務的更新時原樣帶入。
使用該 ID 傳回結果:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "session.commentary.append",
event_id: "result_123",
delegation_id: "item_9tA2bF3h7K9m2P5q8R1s4",
content: "The order shipped today and should arrive tomorrow.",
});
}如果 GPT-Live 應該說出結果,請使用 session.commentary.append。模型受過訓練,會用自己的話轉述文字。如果要提供事實或進度,讓模型在之後的答覆中使用,而無須在收到時說出來,請使用 session.thinking.append。你可以使用同一個用戶端委派 ID 傳送多次更新。
如需瞭解內容限制及必填欄位,請參閱傳送適當類型的更新。如要避免在後端執行期間播放語音確認,請參閱在工具執行期間抑制自動確認。
從現有的後端提示詞開始
以現有文字智慧體的提示詞為起點。任務指示與業務規則請留在後端,並調整原先假設採用文字對話或可直接控制語音的指示。說明後端應如何處理語音轉錄並傳回有用的結果。由應用程式落實權限控管及必要的確認程序。
## 語音對話上下文
你正在協助一位與使用者進行即時語音對話的助理。轉錄內容可能有誤,也可能包含未說完的句子或說話者後來所作的更正。
請根據最新的上下文和已驗證的紀錄處理任務。如果必要資訊仍不明確,請針對該項資訊提問,避免猜測。
## 任務指示
[Your task instructions, business rules, available tools,
and confirmation requirements.]
## 傳回結果
請傳回相關事實、任務目前的狀態及下一步。
只有在工具或服務確認動作執行成功後,才能回報該動作已完成。
如果結果仍不明確,請如實說明,並指出還需要查證哪些事項。大型結構化資料、冗長的工具輸出及供顯示用的 Markdown 請保留在後端。將相關事實交給 GPT-Live,讓它決定如何表達。如果工具結果已經夠精簡,就不必另外呼叫模型來改寫成口語。
使用用戶端委派時,請直接將結果傳回 GPT-Live。使用 Responses 委派時,請傳回所有必要的工具結果或核准決定,讓後端繼續執行。託管工具無須應用程式提供結果即可繼續執行。
傳送適當類型的更新
依照 GPT-Live 應如何使用內容來選擇事件:
| 要傳送的內容 | 事件 |
|---|---|
| 供即時對話使用的指示,例如要求說明特定事項或停止說話 | session.instructions.append |
| 供內部推理使用的資訊,附加時不會說出,但可用於回答使用者的相關問題 | session.thinking.append |
| 模型應以自己的話向使用者轉述的資訊 | session.commentary.append |
這三種事件的 content 都是純字串,每次附加最多 500 個 Token。請提供 delegation_id:如果是特定任務的更新,請使用原本的用戶端委派 ID;如果是整個工作階段的上下文,請使用 null。非 null 的 ID 必須對應到已知的用戶端委派。指示仍然適用於即時工作階段,指定 ID 不會將指示轉成獨立的後端提示詞。
如要先向來電者問候,請在建立工作階段時,將問候指示放入 developer 訊息,再將訊息放入 session.input。收到 session.started 後,在音訊輸入已啟用的情況下,透過 session.commentary.append 再傳送一次相同指示,並使用唯一的 event_id 和 delegation_id: null。模型可能會轉述文字,收到確認也不代表模型已說出內容或用戶端已播放音訊。如需使用指定措辭或驗證問候確實已播放,請參閱在來電者開口前問候,瞭解完整事件順序及由應用程式控制播放的方式。
附加指示可能會中斷模型當下的發言或行為。當應用程式需要引導對話轉向時,可使用這種方式。若同時需要封鎖相關工具或動作,請透過應用程式狀態落實限制。
在用戶端管理的任務中,如要更新進度而不要求模型說出來:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "session.thinking.append",
event_id: "availability_progress",
delegation_id: "item_123",
content: "Checking Thursday availability. No appointment has been booked.",
});
}預約確認後,請傳送使用者應聽到的結果:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "session.commentary.append",
event_id: "appointment_result",
delegation_id: "item_123",
content: "Your appointment is confirmed for Thursday at 2:00 PM",
});
}請等到預約確實成功後才傳送該結果。如果指示適用於整個工作階段,請使用 session.instructions.append 並指定 delegation_id: null。
例如,應用程式依據防護規則封鎖請求後,可以引導對話轉向:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "session.instructions.append",
event_id: "guardrail_block_17",
delegation_id: null,
content:
"Stop speaking about that request. Briefly explain that you cannot help with it, then wait for the user.",
});
}這項指示不會取消後端工作。請在應用程式中封鎖受影響的動作,並處理已在執行的工作。
對應的確認事件為 session.thinking.appended、session.commentary.appended 和 session.instructions.appended。請用事件中的 client_event_id 與送出時的 event_id 配對。系統會等到預估上下文已注入模型時發出確認,不會等到語音生成或播放完畢。如需瞭解事件時序與錯誤處理,請參閱上下文何時送達模型。
請傳送 GPT-Live 能在對話中使用的事實及簡短進度摘要。透過 session.thinking.append 傳送的內容可能會影響之後的語音答覆,因此請將機密資訊和後端的私有推理內容保留在應用程式中。
在工具執行期間抑制自動確認
使用用戶端委派時,可以在系統產生自動確認前,傳送不要求模型發言的上下文更新,以取消待發出的自動確認。
建立工作階段時請設定 delegation.acknowledgement_delay_ms,為應用程式預留傳送更新的時間。例如,可以使用以下用戶端委派設定:
{
"delegation": {
"type": "client",
"acknowledgement_delay_ms": 800
}
}收到 session.delegation.created 後,立即傳送 session.thinking.append,並將 content 設為空字串。請使用唯一的 event_id,並將 event.delegation.id 複製到 delegation_id。請先傳送這個事件,再等待後端結果:
{
"type": "session.thinking.append",
"event_id": "event_quiet_progress_1",
"delegation_id": "item_9tA2bF3h7K9m2P5q8R1s4",
"content": ""
}繼續執行後端工作。結果經過驗證、可以告知使用者後,請使用同一個委派 ID,透過 session.commentary.append 傳送結果。如果希望提供進度資訊,也可以在附加推理上下文時傳送 "Lookup in progress." 這類描述事實的訊息。這同樣會取消待發出的確認,且不會要求模型說出這項更新。
附加任何推理或語音轉述內容,都會取消工作階段中所有待發出的自動確認,包括其他委派的確認。這不會停止已產生的音訊,也不會阻止模型自行發言。延遲設定控制的是何時要求模型產生自動確認,模型仍可能提早開口。事件規格請參閱用戶端委派設定與推理上下文附加事件參考文件。
請將 session.thinking.appended 事件的 client_event_id 與你送出的事件配對。這能確認上下文已送達,但無法確認模型保持靜默。請用實際工作負載測試輸出音訊。如果必須確保靜默,請由應用程式控制播放。
讓更新內容準確且實用
執行較長的任務時,請在有值得告知的新進展時傳送更新,例如某個步驟已完成、延遲會造成影響,或需要使用者回答問題。
在用戶端模式中,請使用 session.thinking.append 提供背景進度。如果進度值得說給使用者聽,請使用 session.commentary.append。
如要以語音告知進度,請傳送 session.commentary.append,並確保內容符合已驗證的任務狀態:
| 狀態 | 內容範例 |
|---|---|
| 處理中 | 「我正在查詢可預約的時段。」 |
| 已完成 | 「已為你預約星期四下午兩點的時段。」 |
| 失敗 | 「那個時段已經無法預約了。」 |
| 已確認取消 | 「你的預約已取消。」 |
使用者變更請求時,請在應用程式中更新執行中的任務。例如,如果使用者把星期五改成星期四,後續工作就應以星期四為準,並忽略原本星期五請求的結果。如需取消工作,請在後端處理,並在確認取消成功後再告知使用者。即使語音對話中斷,後端工作仍會繼續執行。
重試失敗的工具呼叫前,請先檢查原本的動作是否已執行。例如,不應因回應遺失而重複預約。如果結果仍不明確,請如實說明,並提出可行的下一步。
提供使用者介面的上下文
請向 GPT-Live 簡要說明目前的頁面或任務、相關選項的選取狀態,以及有助於理解「這個選項」等指稱的事實。請直接根據應用程式狀態建立摘要,無須額外呼叫模型來整理格式。
請在工作階段開始時及相關狀態變更時傳送介面上下文。如果狀態沒有變化,就略過更新。如果短時間內有多項變更,請合併成一則反映最新狀態的簡短摘要。先前選取的項目若有變更,請明確說明:
- 初始上下文:「使用者正在查看餐廳訂位資訊:8 月 6 日晚上 7 點,兩位用餐。目前尚未訂位。」
- 更正:「目前選取的時間是晚上 8 點,先前選的是晚上 7 點。」
兩種委派模式都可以使用 session.thinking.append 搭配 delegation_id: null 來更新背景上下文。請將完整的 HTML、DOM 樹、大型 JSON 資料及互動記錄保留在應用程式或後端。頁面內容應視為參考資料,不應當成指示。
接收鍵入的資料
請將使用者鍵入的值(例如訂單編號)以使用者提供的資料傳給後端,以便後端直接使用原文。
使用 Responses 委派時,請將使用者訊息加入後端佇列:
import type { ClientEvent } from "openai/resources/live/live";
export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
connection.send({
type: "response.item.create",
event_id: "typed_order_number",
item: {
type: "message",
role: "user",
content: [
{
type: "input_text",
text: "My order number is A0042.",
},
],
},
});
}準備好啟動或接續後端工作時,請傳送 response.create。如果後端正在等待函式結果,請先傳回所有必要的結果。將文字加入佇列不會自動取消已在執行的工作。
使用用戶端委派時,請將使用者鍵入的值直接傳給處理對話的後端。如果這個值是對執行中任務的更正,請更新該任務,避免再次啟動相同的工作。你可以使用 session.thinking.append 將簡短的事實摘要同步到即時工作階段,或使用 session.commentary.append 傳送使用者應聽到的結果。
加入圖像與視覺上下文
如要協助來電者討論照片或畫面,請從應用程式將圖像與相關上下文傳給支援視覺輸入的後端。後端會解讀圖像並傳回相關文字,供 GPT-Live 在對話中使用。Live 音訊前端不直接接受圖像。
使用 Responses 委派時,請設定支援視覺輸入的後端模型。使用 response.item.create 將 Responses 支援的圖像輸入項目加入佇列,再傳送 response.create 啟動或接續後端工作。繼續執行前,請傳回所有尚未提交的必要工具結果與核准決定。詳見處理 Responses 委派。
使用用戶端委派時,請將視覺輸入連同相關對話及應用程式狀態,一併傳給處理委派請求的後端。再透過用戶端結果回傳流程傳回簡明的分析結果。
後端的圖像輸入應與 session.input 分開。後者用來在啟動時為 Live 前端提供文字對話歷程。支援的圖像格式及模型限制請參閱圖像與視覺。
降低後端延遲
請縮短從請求後端執行工作,到取得對話可用結果之間的時間。測量各階段的延遲,找出延遲發生的位置。在相同情境下,比較使用者多久能聽到有用的回答,以及任務是否成功。評估方法請參閱 Cookbook 中的語音智慧體評估指南。
Responses 委派
Live 會管理通往 Responses 的持續性 WebSocket 連線,並預先準備已知的請求設定。如果目前的連線與狀態支援,Live 也能重複使用先前的回應狀態。請在實際工作負載上測量回應時間,並查看回報的快取使用量,以瞭解效果。
透過 delegation.responses 調整後端:
model:選擇負責推理與工具選擇的模型,這項選擇與語音模型無關。reasoning.effort:使用該模型支援的值,在推理時間與任務品質之間取得平衡。service_tier:依模型支援情況與專案存取權,使用auto、default、flex或priority。auto會依循專案設定。請評估所選服務層級的效能與成本。
在工作階段中,使用 session.update 更新支援的設定。自訂工具仍由應用程式執行,因此即使 Live 管理了 Responses 連線,耗時的服務呼叫、佇列等待及工具結果緩衝仍可能延遲回答。請及時傳回每個必要的工具結果,並接續後端回應。
用戶端委派
從收到委派到傳回結果,整個流程都由應用程式管理。請在語音工作階段執行期間做好準備:
- 重複使用後端連線。 在多次委派之間維持 API 用戶端與其連線集區。若會反覆呼叫 Responses,可以考慮使用持續性的 Responses WebSocket。
- 預先準備已知設定。 在第一個請求需要用到指示、工具與連線前,先完成初始化。Responses WebSocket 模式也支援在開始生成前,為已知的請求狀態預熱。請參閱其設定指南。
- 以串流方式傳回有用的結果。 透過
session.commentary.append分段傳回語意連貫、經過驗證的內容。若無須說出進度,請使用session.thinking.append。沿用原本的用戶端委派 ID,每次附加不超過 500 個 Token。請將私有推理內容保留在後端,並確認動作已完成後才宣告成功。 - 讓可重複使用的輸入保持穩定。 保留原有指示、工具定義與順序,以及對話歷程中未變動的開頭部分。如果後端支援快取和接續執行,請將新資訊附加在可重複使用的內容之後。
- 轉送完整且有用的更新。 一旦文字足以讓人獨立理解該筆結果,就立即傳送。請讓後端將更新標示為進度或結果,以便應用程式選擇適當的附加事件。如果後端以文字前綴標示類別,請等到收到完整前綴再轉送更新。
比較這個流程與 Responses 委派時,請測量使用者多久能聽到第一個有用的回答。
根據轉錄片段採取動作
兩種委派模式都可以選擇在應用程式中處理轉錄片段。使用者與助理的轉錄片段會透過 WebSocket 或 WebRTC 資料通道送達。你可以用應用程式邏輯或輕量模型處理這些片段,在委派事件送達前就開始工作,也可以直接用轉錄內容觸發由應用程式負責的工作。
這種做法可用於以下情境:
- 縮短等待時間。 資訊足夠時,先根據目前掌握的需求啟動查詢。例如,使用者還在說明偏好時,就先查詢可用時段。
- 執行防護檢查。 持續檢查新增的轉錄內容,找出需要介入的請求或回應。請參閱套用對話防護機制。
- 調整對話方式。 留意可能表示困惑或挫折的措辭,再調整互動方式或傳送有針對性的指示。
- 更新介面。 醒目標示相關控制項、在欄位中填入建議值,或在結果可用時立即顯示。
瀏覽器應用程式請使用 WebRTC 資料通道顯示字幕及更新本機介面。如果在伺服器上處理轉錄內容,例如執行防護檢查、以輕量模型進行檢查或預先呼叫工具,請透過旁路 WebSocket 接收事件,並直接引導同一個 GPT-Live 工作階段。
有具體的新資訊時,再處理累積的文字。單一片段可能不完整,使用者之後說的話也可能改變請求。請捨棄過時的結果,與後續委派工作協調以避免重複執行動作,並在執行會造成實質影響的動作前,照常檢查權限及必要的確認。
使用適合該項更新的附加事件,將查得的資訊或指示傳回 GPT-Live。如果工作是在用戶端委派之外啟動的,請使用 delegation_id: null。由應用程式更新介面,並管理工具的執行與取消。
兩種模式通用的最佳化方式
以下後端改善措施對兩種委派模式都有效:
- 依任務選擇模型和推理強度。 比較符合準確度要求的設定。如果較低的推理強度就能可靠地完成任務,便可採用。
- 保持回答簡潔。 傳回 GPT-Live 繼續對話所需的事實與狀態。避免冗長的說明,也無須只為將結果改寫成口語而額外呼叫模型。
- 減少工具延遲與不必要的呼叫。 輸入準備就緒時,即可啟動已獲授權的工作。結果仍有效時請重複使用,避免重新執行已完成的查詢。
- 並行執行彼此獨立的工作。 互不相依的查詢可以同時進行。執行動作時,請遵循相依順序與必要的確認程序。
parallel_tool_calls允許模型在同一個回應中要求多個工具呼叫,自訂函式仍由應用程式排程並執行。
Responses 的一般指引請參閱延遲最佳化。如要重複使用穩定的輸入,請參閱提示詞快取。
驗證完整互動流程
請驗證後端是否完成預期動作,以及用戶端是否播放預期的語音結果。例如,預約成功後,請同時檢查預約紀錄及實際播放的音訊。即使語音答覆被中斷,後端仍可能完成工作,因此請分別測試這兩項結果。
除了記錄 GPT-Live 的委派 ID,也請為應用程式的每個動作記錄獨立的操作 ID,並在每次請求變更時記錄任務版本。重新連線或重試後,可根據這些紀錄辨識已完成的工作,並捨棄過時請求的結果。
如要進行可重複執行的測試,請參閱評估語音智慧體。如果已有 Realtime 工具呼叫迴圈或串接式後端,請依照遷移至 GPT-Live的步驟操作。