如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

GPT-Live 的委派與工具

連接後端智慧體,將經過驗證的結果傳回即時對話。

GPT-Live 負責進行語音對話,並將推理和工具使用委派給後端。後端工作可以交由你設定的 Responses 模型執行。如果採用用戶端委派,也可以交由應用程式管理的任何模型、智慧體或服務執行。無論採用哪種模式,權限、確認程序、業務紀錄和任務狀態都由你的應用程式管理。

如要瞭解如何引導即時模型委派工作與使用工具,請參閱提示詞指南。

本頁的事件範例使用 connection,代表依照連線指南建立的 Live WebSocket 主連線或旁路連線。使用主連線時,請等到收到 session.started 再呼叫事件輔助函式。已接上的旁路連線屬於執行中的工作階段。

選擇委派模式

如果選用 Responses 委派,GPT-Live 會呼叫你選擇的 Responses 模型、提供對話上下文,並將後端結果傳回即時對話。如果選用 用戶端委派,則由你的應用程式準備上下文、執行智慧體或工作流程,再將結果傳回 GPT-Live。

如果希望由 GPT-Live 管理請求,可以先使用 Responses 委派。如果需要執行自己的工作流程,或在將結果傳給 GPT-Live 前先審查結果,請選擇用戶端委派。

考量因素 適合使用 Responses 委派的情況 適合使用用戶端委派的情況
實作成本 希望由 GPT-Live 準備後端請求、管理連線,並將結果傳回對話。 希望自行建置及維護這些功能。
審查後端結果 後端輸出可以直接傳回 GPT-Live。 在結果傳給 GPT-Live 前,應用程式必須先驗證結果、遮蔽敏感內容、合併或捨棄結果。
後端功能 GPT-Live 支援的 Responses 設定和工具足以滿足工作流程需求。 需要其他後端、多個模型,或託管設定未涵蓋的 API 功能。
上下文管理 GPT-Live 提供的對話上下文符合應用程式需求。 需要精確指定每個後端請求能取得哪些歷程紀錄、記憶和應用程式狀態。
執行策略 設定好模型與工具呼叫迴圈即可完成任務。 需要自訂程式碼與模型之間的路由,或為多個後端步驟設定備援機制、檢查點或預算。

例如,旅遊助理可以把航班狀態問題交給航空公司的服務處理,把行程變更交給另一個規劃智慧體。應用程式負責選擇要呼叫哪個後端,以及要將哪些經過驗證的結果傳回 GPT-Live。

無論採用哪種模式,都由應用程式追蹤任務進度,並在執行自訂工具前檢查權限,以及是否已取得使用者的必要確認。應用程式審查後端結果時,GPT-Live 仍可繼續說話。如果應用程式必須控制使用者何時聽到音訊,請加入播放控制。

使用用戶端委派時,應用程式還必須維護對話上下文。委派事件包含中繼資料,但沒有任務文字。請根據轉錄事件與應用程式狀態準備後端請求。

評估語音智慧體時,請以實際工作負載比較延遲、任務成功率和成本。如需適用於現有架構的指引,請參閱遷移至 GPT-Live。

請在建立工作階段時選擇模式。如要變更模式,請啟動新的工作階段。

委派模式

設定 Responses 委派

建立 Live 工作階段時,請加入以下委派設定。Responses 模型可與語音模型分開選擇:

export const session = {
  model: "gpt-live-1",
  delegation: {
    type: "responses",
    responses: {
      model: "gpt-6-luna",
      instructions: "[Your backend prompt]",
    },
  },
};

可以先使用 gpt-6-luna,或針對較複雜的後端任務試用 gpt-6-sol。選定後端模型前,請用實際任務比較回答品質與延遲。

在 delegation.responses.tools 中註冊支援的工具。將 delegation.responses.tool_choice 設為 "auto" 可讓後端自行選擇工具,設為 "required" 可要求後端必須呼叫工具,設為 "none" 則會停用工具呼叫。你也可以依名稱指定函式。

將 delegation.responses.parallel_tool_calls 設為 true,即可允許在同一個回應中發出多個工具呼叫。設為 false 則會依序呼叫。應用程式負責執行自訂函式,並檢查相依性和必要的核准。這些設定在 GPT-Live 委派工作後才會生效。請透過即時模型的提示詞引導模型判斷何時委派。

建立工作階段時,必須在 Responses 設定中指定後端 model。除了下列工具,你還可以設定 max_output_tokens(若有設定,值至少為 16)、service_tier,以及所選後端模型支援的 reasoning 和 text 設定。可調整的設定請參閱降低後端延遲。

如果你的模型和專案可以使用快速模式,可考慮將它用於對延遲敏感的呼叫。在 GPT-Live 中,使用 delegation.responses.service_tier: "priority" 即可選用此模式。

在對話期間,請傳送 session.update,並在 session.delegation.responses 中指定變更,即可更新後端模型、指示、工具、tool_choice 或其他支援的設定。未指定的設定會保留目前的值。

如要在 Responses 委派與用戶端委派之間切換,請建立新的 Live 工作階段。將 delegation 更新為 null 會選擇用戶端模式,因此若將這項更新傳送至執行中的 Responses 工作階段,就會失敗並傳回 immutable_field_update。

這些設定沿用 Responses 的概念,但 Live 僅支援獨立 Responses API 的部分功能。Live 會提供對話上下文並啟動委派工作。請透過工作階段設定後端。Live 的 response.create 指令會使用該設定,不接受獨立 Responses API 的請求主體。

新增託管工具

將網頁搜尋、檔案搜尋、程式碼解譯器、託管 Shell 環境或圖像生成加入 delegation.responses.tools。各工具的設定方式、支援模型及必要資源請參閱連結中的指南。Responses 會自動執行這些工具並傳回結果。

使用 Shell 時,請使用託管容器,也可以搭配技能。如果技能剛上傳,請等到可以讀取所參照的版本再啟動 Live 工作階段。本機 Shell 的呼叫必須由應用程式執行。Live 不支援 Shell 的 domain_secrets。

新增 MCP 與其他工具

Responses 委派也支援 MCP、工具搜尋、程式化工具呼叫、函式與自訂工具、電腦、本機 Shell和套用修補程式。設定方式請參閱各連結中的指南。請透過 Live 的接續流程傳回應用程式的執行結果與核准決定。

Live 會將你提供的 MCP authorization 和 headers 傳給 Responses,但傳回應用程式的工作階段設定不會包含這些值。更新指示等其他設定時,不必重新傳送這些值。如果替換 delegation.responses.tools,請再次提供 MCP 憑證。

處理設定錯誤

Live 會在啟動後及設定變更時非同步驗證 Responses 設定。session.started 和 session.updated 不會等到驗證完成才發出。請監聽 error 事件。如果錯誤代碼為 responses_validation_failed,請查看錯誤訊息,找出不支援的設定或無法存取的資源。工作階段會保持開啟,設定也不會還原。請使用 session.update 修正設定。

例如,如果技能的 version 使用數值(如 1),就會引發非致命的 responses_validation_failed 錯誤,無論是透過 session.start 或 session.update 指定版本都一樣。錯誤訊息會指出無效欄位及預期型別,不必等到呼叫 response.create。請用 error.client_event_id 找出對應的設定事件。如要在同一個工作階段中復原,請使用 session.update 移除無效的工具設定。版本請使用字串,例如 "1"。

通過驗證不代表工具之後一定能執行。資源的存取權和工具的可用性可能改變,因此執行委派工作時仍須處理後端錯誤。設定託管工具時,系統可能會在驗證期間初始化容器等資源。

從應用程式引導即時對話

Responses 委派會管理後端工作流程,你的應用程式仍可直接將上下文傳給 GPT-Live 模型。如果透過旁路 WebSocket 或主要事件連線監控通話,可以使用 session.instructions.append、session.thinking.append 或 session.commentary.append,並指定 delegation_id: null。例如,根據轉錄內容運作的防護機制可以附加指示,引導對話轉向。這些指示會引導即時模型,但不會變更 Responses 後端的提示詞,也不會取消已在執行的工作。

處理 Responses 委派

對於交由 Responses 處理的工作,session.delegation.created 會包含 target: "responses" 和 response_id。後續的 Responses 事件會包在 response.event 外層事件中傳送:

{
  "type": "response.event",
  "event_id": "event_response_1",
  "delegation_id": "item_9tA2cB6n2V8c4X1z7Q5r9",
  "event": {
    "type": "response.output_text.delta",
    "sequence_number": 4,
    "item_id": "msg_123",
    "output_index": 0,
    "content_index": 0,
    "delta": "The forecast is",
    "logprobs": []
  }
}

當最外層事件類型為 response.event 時,請依 envelope.event.type 分派處理。儲存外層的 delegation_id,以便將後端事件與對應的委派關聯起來。除了此處列出的事件,處理常式還可能收到其他巢狀的 Responses 生命週期事件。

託管工具的進度、引用來源、檔案和生成的圖像都會透過這些巢狀事件傳送。請讀取個別輸出項目事件和圖像片段事件來收集結果,因為轉送的生命週期快照會省略輸出陣列。請使用對應的 Responses 檔案或容器 API 下載檔案。對於包含大型圖像或產出檔案的事件,請使用 WebSocket 或旁路連線,因為 WebRTC 資料通道允許的訊息大小可能較小。

即時語音與委派工作各自獨立進行。即使後端回應已完成,也不代表使用者已聽到答案。請透過 Live 的輸出轉錄和音訊掌握互動中的語音內容。

傳回工具結果與核准決定

如果工具需要應用程式提供輸入,請從巢狀的 response.output_item.done 事件收集已完成的呼叫。執行已獲授權的動作或檢查是否已取得核准後,使用 response.item.create 傳送對應的項目:

收到的項目 結果項目
function_call function_call_output
custom_tool_call custom_tool_call_output
computer_call computer_call_output
本機 shell_call shell_call_output
apply_patch_call apply_patch_call_output
tool_search_call,含 execution: "client" tool_search_output,含 execution: "client" 及搜尋到的 tools
mcp_approval_request mcp_approval_response

使用 call_id 將結果與呼叫配對。對於 MCP 核准決定,則要將 approval_request_id 設為核准請求的 id,並將 approve 設為 true 或 false。已完成的 mcp_call 本身不需要用戶端傳回結果。請遵循各工具的結果結構描述,包括程式化函式呼叫的 caller 中繼資料,以及操作電腦時必須提供的安全確認。

提交所有待處理呼叫的結果後,再傳送 response.create。僅附加項目不會讓後端繼續執行。缺少結果時會收到 tool_outputs_required,如果只缺少函式結果,則會收到 function_call_outputs_required。系統會拒絕重複的結果,以及類型不符的結果。

你可以在目前的後端回應完成前提交結果並要求繼續執行。系統接受 response.create 後會等到目前的回應完成,請勿重新傳送。如果後端之後發出更多呼叫,請提交這些呼叫的結果,再傳送一次 response.create。

執行自訂函式並傳回結果

請從巢狀的 response.output_item.done 事件讀取已完成的函式呼叫。完整的函式項目包含 call_id、name 和 arguments。僅憑引數接收完畢的事件,無法識別是哪一次呼叫。

請一併追蹤巢狀 response.created 事件中的回應 ID 和外層的 delegation_id。從 response.output_item.done 收集該回應中的函式呼叫,再據此判斷繼續執行前必須提交哪些工具結果。

轉送的生命週期事件(包括 response.completed)都會包含 response.output: [],即使仍有函式呼叫需要結果也是如此。這些事件還包含空的 tools 陣列和 instructions: null,且沒有 input 欄位。請從個別輸出項目事件讀取函式呼叫。

執行已獲授權的操作後,將結果以 Responses 項目的形式附加:

import type { ClientEvent } from "openai/resources/live/live";

export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
  connection.send({
    type: "response.item.create",
    event_id: "tool_result_1",
    item: {
      type: "function_call_output",
      call_id: "call_123",
      output: '{"status":"confirmed","order_id":"order_123"}',
    },
  });
}

接著明確要求繼續處理回應:

import type { ClientEvent } from "openai/resources/live/live";

export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
  connection.send({
    type: "response.create",
    event_id: "continue_1",
  });
}

針對每個待處理的函式呼叫,以 response.item.create 傳送結果,再傳送 response.create 讓後端繼續處理回應。response.item.create 不會另外發出成功確認,請繼續處理錯誤和巢狀的 Responses 生命週期事件。

這兩個指令都需要使用 Responses 委派。Live 的 response.create 指令會使用工作階段中儲存的後端設定。請使用上方所示的事件內容,並透過工作階段設定後端模型和其他選項。

從現有的後端提示詞開始

以現有文字智慧體的提示詞為起點。任務指示與業務規則請留在後端,並調整原先假設採用文字對話或可直接控制語音的指示。說明後端應如何處理語音轉錄並傳回有用的結果。由應用程式落實權限控管及必要的確認程序。

## 語音對話上下文
你正在協助一位與使用者進行即時語音對話的助理。轉錄內容可能有誤,也可能包含未說完的句子或說話者後來所作的更正。
請根據最新的上下文和已驗證的紀錄處理任務。如果必要資訊仍不明確,請針對該項資訊提問,避免猜測。

## 任務指示
[Your task instructions, business rules, available tools,
and confirmation requirements.]

## 傳回結果
請傳回相關事實、任務目前的狀態及下一步。
只有在工具或服務確認動作執行成功後,才能回報該動作已完成。
如果結果仍不明確,請如實說明,並指出還需要查證哪些事項。

大型結構化資料、冗長的工具輸出及供顯示用的 Markdown 請保留在後端。將相關事實交給 GPT-Live,讓它決定如何表達。如果工具結果已經夠精簡,就不必另外呼叫模型來改寫成口語。

使用用戶端委派時,請直接將結果傳回 GPT-Live。使用 Responses 委派時,請傳回所有必要的工具結果或核准決定,讓後端繼續執行。託管工具無須應用程式提供結果即可繼續執行。

傳送適當類型的更新

依照 GPT-Live 應如何使用內容來選擇事件:

要傳送的內容 事件
供即時對話使用的指示,例如要求說明特定事項或停止說話 session.instructions.append
供內部推理使用的資訊,附加時不會說出,但可用於回答使用者的相關問題 session.thinking.append
模型應以自己的話向使用者轉述的資訊 session.commentary.append

這三種事件的 content 都是純字串,每次附加最多 500 個 Token。請提供 delegation_id:如果是特定任務的更新,請使用原本的用戶端委派 ID;如果是整個工作階段的上下文,請使用 null。非 null 的 ID 必須對應到已知的用戶端委派。指示仍然適用於即時工作階段,指定 ID 不會將指示轉成獨立的後端提示詞。

如要先向來電者問候,請在建立工作階段時,將問候指示放入 developer 訊息,再將訊息放入 session.input。收到 session.started 後,在音訊輸入已啟用的情況下,透過 session.commentary.append 再傳送一次相同指示,並使用唯一的 event_id 和 delegation_id: null。模型可能會轉述文字,收到確認也不代表模型已說出內容或用戶端已播放音訊。如需使用指定措辭或驗證問候確實已播放,請參閱在來電者開口前問候,瞭解完整事件順序及由應用程式控制播放的方式。

附加指示可能會中斷模型當下的發言或行為。當應用程式需要引導對話轉向時,可使用這種方式。若同時需要封鎖相關工具或動作,請透過應用程式狀態落實限制。

在用戶端管理的任務中,如要更新進度而不要求模型說出來:

import type { ClientEvent } from "openai/resources/live/live";

export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
  connection.send({
    type: "session.thinking.append",
    event_id: "availability_progress",
    delegation_id: "item_123",
    content: "Checking Thursday availability. No appointment has been booked.",
  });
}

預約確認後,請傳送使用者應聽到的結果:

import type { ClientEvent } from "openai/resources/live/live";

export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
  connection.send({
    type: "session.commentary.append",
    event_id: "appointment_result",
    delegation_id: "item_123",
    content: "Your appointment is confirmed for Thursday at 2:00 PM",
  });
}

請等到預約確實成功後才傳送該結果。如果指示適用於整個工作階段,請使用 session.instructions.append 並指定 delegation_id: null。

例如,應用程式依據防護規則封鎖請求後,可以引導對話轉向:

import type { ClientEvent } from "openai/resources/live/live";

export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
  connection.send({
    type: "session.instructions.append",
    event_id: "guardrail_block_17",
    delegation_id: null,
    content:
      "Stop speaking about that request. Briefly explain that you cannot help with it, then wait for the user.",
  });
}

這項指示不會取消後端工作。請在應用程式中封鎖受影響的動作,並處理已在執行的工作。

對應的確認事件為 session.thinking.appended、session.commentary.appended 和 session.instructions.appended。請用事件中的 client_event_id 與送出時的 event_id 配對。系統會等到預估上下文已注入模型時發出確認,不會等到語音生成或播放完畢。如需瞭解事件時序與錯誤處理,請參閱上下文何時送達模型。

請傳送 GPT-Live 能在對話中使用的事實及簡短進度摘要。透過 session.thinking.append 傳送的內容可能會影響之後的語音答覆,因此請將機密資訊和後端的私有推理內容保留在應用程式中。

在工具執行期間抑制自動確認

使用用戶端委派時,可以在系統產生自動確認前,傳送不要求模型發言的上下文更新,以取消待發出的自動確認。

建立工作階段時請設定 delegation.acknowledgement_delay_ms,為應用程式預留傳送更新的時間。例如,可以使用以下用戶端委派設定:

{
  "delegation": {
    "type": "client",
    "acknowledgement_delay_ms": 800
  }
}

收到 session.delegation.created 後,立即傳送 session.thinking.append,並將 content 設為空字串。請使用唯一的 event_id,並將 event.delegation.id 複製到 delegation_id。請先傳送這個事件,再等待後端結果:

{
  "type": "session.thinking.append",
  "event_id": "event_quiet_progress_1",
  "delegation_id": "item_9tA2bF3h7K9m2P5q8R1s4",
  "content": ""
}

繼續執行後端工作。結果經過驗證、可以告知使用者後,請使用同一個委派 ID,透過 session.commentary.append 傳送結果。如果希望提供進度資訊,也可以在附加推理上下文時傳送 "Lookup in progress." 這類描述事實的訊息。這同樣會取消待發出的確認,且不會要求模型說出這項更新。

附加任何推理或語音轉述內容,都會取消工作階段中所有待發出的自動確認,包括其他委派的確認。這不會停止已產生的音訊,也不會阻止模型自行發言。延遲設定控制的是何時要求模型產生自動確認,模型仍可能提早開口。事件規格請參閱用戶端委派設定與推理上下文附加事件參考文件。

請將 session.thinking.appended 事件的 client_event_id 與你送出的事件配對。這能確認上下文已送達,但無法確認模型保持靜默。請用實際工作負載測試輸出音訊。如果必須確保靜默,請由應用程式控制播放。

讓更新內容準確且實用

執行較長的任務時,請在有值得告知的新進展時傳送更新,例如某個步驟已完成、延遲會造成影響,或需要使用者回答問題。

在用戶端模式中,請使用 session.thinking.append 提供背景進度。如果進度值得說給使用者聽,請使用 session.commentary.append。

如要以語音告知進度,請傳送 session.commentary.append,並確保內容符合已驗證的任務狀態:

狀態 內容範例
處理中 「我正在查詢可預約的時段。」
已完成 「已為你預約星期四下午兩點的時段。」
失敗 「那個時段已經無法預約了。」
已確認取消 「你的預約已取消。」

使用者變更請求時,請在應用程式中更新執行中的任務。例如,如果使用者把星期五改成星期四,後續工作就應以星期四為準,並忽略原本星期五請求的結果。如需取消工作,請在後端處理,並在確認取消成功後再告知使用者。即使語音對話中斷,後端工作仍會繼續執行。

重試失敗的工具呼叫前,請先檢查原本的動作是否已執行。例如,不應因回應遺失而重複預約。如果結果仍不明確,請如實說明,並提出可行的下一步。

提供使用者介面的上下文

請向 GPT-Live 簡要說明目前的頁面或任務、相關選項的選取狀態,以及有助於理解「這個選項」等指稱的事實。請直接根據應用程式狀態建立摘要,無須額外呼叫模型來整理格式。

請在工作階段開始時及相關狀態變更時傳送介面上下文。如果狀態沒有變化,就略過更新。如果短時間內有多項變更,請合併成一則反映最新狀態的簡短摘要。先前選取的項目若有變更,請明確說明:

  • 初始上下文:「使用者正在查看餐廳訂位資訊:8 月 6 日晚上 7 點,兩位用餐。目前尚未訂位。」
  • 更正:「目前選取的時間是晚上 8 點,先前選的是晚上 7 點。」

兩種委派模式都可以使用 session.thinking.append 搭配 delegation_id: null 來更新背景上下文。請將完整的 HTML、DOM 樹、大型 JSON 資料及互動記錄保留在應用程式或後端。頁面內容應視為參考資料,不應當成指示。

接收鍵入的資料

請將使用者鍵入的值(例如訂單編號)以使用者提供的資料傳給後端,以便後端直接使用原文。

使用 Responses 委派時,請將使用者訊息加入後端佇列:

import type { ClientEvent } from "openai/resources/live/live";

export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
  connection.send({
    type: "response.item.create",
    event_id: "typed_order_number",
    item: {
      type: "message",
      role: "user",
      content: [
        {
          type: "input_text",
          text: "My order number is A0042.",
        },
      ],
    },
  });
}

準備好啟動或接續後端工作時,請傳送 response.create。如果後端正在等待函式結果,請先傳回所有必要的結果。將文字加入佇列不會自動取消已在執行的工作。

加入圖像與視覺上下文

如要協助來電者討論照片或畫面,請從應用程式將圖像與相關上下文傳給支援視覺輸入的後端。後端會解讀圖像並傳回相關文字,供 GPT-Live 在對話中使用。Live 音訊前端不直接接受圖像。

使用 Responses 委派時,請設定支援視覺輸入的後端模型。使用 response.item.create 將 Responses 支援的圖像輸入項目加入佇列,再傳送 response.create 啟動或接續後端工作。繼續執行前,請傳回所有尚未提交的必要工具結果與核准決定。詳見處理 Responses 委派。

後端的圖像輸入應與 session.input 分開。後者用來在啟動時為 Live 前端提供文字對話歷程。支援的圖像格式及模型限制請參閱圖像與視覺。

降低後端延遲

請縮短從請求後端執行工作,到取得對話可用結果之間的時間。測量各階段的延遲,找出延遲發生的位置。在相同情境下,比較使用者多久能聽到有用的回答,以及任務是否成功。評估方法請參閱 Cookbook 中的語音智慧體評估指南。

Responses 委派

Live 會管理通往 Responses 的持續性 WebSocket 連線,並預先準備已知的請求設定。如果目前的連線與狀態支援,Live 也能重複使用先前的回應狀態。請在實際工作負載上測量回應時間,並查看回報的快取使用量,以瞭解效果。

透過 delegation.responses 調整後端:

  • model:選擇負責推理與工具選擇的模型,這項選擇與語音模型無關。
  • reasoning.effort:使用該模型支援的值,在推理時間與任務品質之間取得平衡。
  • service_tier:依模型支援情況與專案存取權,使用 auto、default、flex 或 priority。auto 會依循專案設定。請評估所選服務層級的效能與成本。

在工作階段中,使用 session.update 更新支援的設定。自訂工具仍由應用程式執行,因此即使 Live 管理了 Responses 連線,耗時的服務呼叫、佇列等待及工具結果緩衝仍可能延遲回答。請及時傳回每個必要的工具結果,並接續後端回應。

根據轉錄片段採取動作

兩種委派模式都可以選擇在應用程式中處理轉錄片段。使用者與助理的轉錄片段會透過 WebSocket 或 WebRTC 資料通道送達。你可以用應用程式邏輯或輕量模型處理這些片段,在委派事件送達前就開始工作,也可以直接用轉錄內容觸發由應用程式負責的工作。

這種做法可用於以下情境:

  • 縮短等待時間。 資訊足夠時,先根據目前掌握的需求啟動查詢。例如,使用者還在說明偏好時,就先查詢可用時段。
  • 執行防護檢查。 持續檢查新增的轉錄內容,找出需要介入的請求或回應。請參閱套用對話防護機制。
  • 調整對話方式。 留意可能表示困惑或挫折的措辭,再調整互動方式或傳送有針對性的指示。
  • 更新介面。 醒目標示相關控制項、在欄位中填入建議值,或在結果可用時立即顯示。

瀏覽器應用程式請使用 WebRTC 資料通道顯示字幕及更新本機介面。如果在伺服器上處理轉錄內容,例如執行防護檢查、以輕量模型進行檢查或預先呼叫工具,請透過旁路 WebSocket 接收事件,並直接引導同一個 GPT-Live 工作階段。

有具體的新資訊時,再處理累積的文字。單一片段可能不完整,使用者之後說的話也可能改變請求。請捨棄過時的結果,與後續委派工作協調以避免重複執行動作,並在執行會造成實質影響的動作前,照常檢查權限及必要的確認。

使用適合該項更新的附加事件,將查得的資訊或指示傳回 GPT-Live。如果工作是在用戶端委派之外啟動的,請使用 delegation_id: null。由應用程式更新介面,並管理工具的執行與取消。

兩種模式通用的最佳化方式

以下後端改善措施對兩種委派模式都有效:

  • 依任務選擇模型和推理強度。 比較符合準確度要求的設定。如果較低的推理強度就能可靠地完成任務,便可採用。
  • 保持回答簡潔。 傳回 GPT-Live 繼續對話所需的事實與狀態。避免冗長的說明,也無須只為將結果改寫成口語而額外呼叫模型。
  • 減少工具延遲與不必要的呼叫。 輸入準備就緒時,即可啟動已獲授權的工作。結果仍有效時請重複使用,避免重新執行已完成的查詢。
  • 並行執行彼此獨立的工作。 互不相依的查詢可以同時進行。執行動作時,請遵循相依順序與必要的確認程序。parallel_tool_calls 允許模型在同一個回應中要求多個工具呼叫,自訂函式仍由應用程式排程並執行。

Responses 的一般指引請參閱延遲最佳化。如要重複使用穩定的輸入,請參閱提示詞快取。

驗證完整互動流程

請驗證後端是否完成預期動作,以及用戶端是否播放預期的語音結果。例如,預約成功後,請同時檢查預約紀錄及實際播放的音訊。即使語音答覆被中斷,後端仍可能完成工作,因此請分別測試這兩項結果。

除了記錄 GPT-Live 的委派 ID,也請為應用程式的每個動作記錄獨立的操作 ID,並在每次請求變更時記錄任務版本。重新連線或重試後,可根據這些紀錄辨識已完成的工作,並捨棄過時請求的結果。

如要進行可重複執行的測試,請參閱評估語音智慧體。如果已有 Realtime 工具呼叫迴圈或串接式後端,請依照遷移至 GPT-Live的步驟操作。