如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

遷移至 GPT-Live

將 Realtime 應用程式、文字智慧體或串接式語音管線遷移至 GPT-Live。

GPT-Live 負責聆聽和說話,後端則決定如何完成任務以及要呼叫哪些工具。請保留現有的工具實作、權限檢查和已儲存的任務紀錄。遷移時,將後端連接至 GPT-Live,並決定各項指示應交給哪個模型。

本指南以預約助理為例:先查詢可預約時段,請使用者確認時段,再完成預約。請先依照入門指南建立工作階段並完成連線,並保留現有應用程式中具代表性的對話,以便比較。

遷移前的準備

記錄應用程式遷移後仍須符合的需求:

  • 工具與業務規則: 列出現有的提示詞、工具和工作流程,以及執行各項動作的條件。
  • 輸入類型: 找出應用程式在哪裡接收音訊、鍵入的文字和圖片,以及哪些後端需要這些輸入。請參閱新增圖片與視覺上下文。
  • 依賴音訊的判斷: 找出哪些判斷除了轉錄文字之外,還需要聽到原始聲音。請參閱保留依賴音訊的判斷。
  • 說話與播放: 明確規定何時可以開始說話、何時必須停止,以及播放音訊前必須完成哪些檢查。
  • 權限與防護措施: 列出授權、確認及輸入/輸出檢查,並註明應用程式在哪裡執行這些檢查。請參閱調整防護措施。
  • 持久狀態: 找出應用程式在連線中斷或開啟新工作階段後仍須保留的紀錄、任務進度和待執行動作。
  • 基準對話: 儲存目前應用程式中具代表性的對話,並記錄其起始狀態、預期的工具動作、應用程式的最終狀態及語音回覆。

請依照入門指南設定工作階段,並參考語音智慧體評估 Cookbook規劃比較方式。

選擇委派模式

決定由誰執行後端:

  • Responses 委派: 設定託管的 Responses 模型,讓它針對任務進行推理並選擇工具。應用程式負責執行自訂函式並傳回結果。如果目前由 Realtime 模型選擇這些函式,可以從這個模式開始。
  • 用戶端委派: 保留現有的智慧體或協調器。應用程式為它提供對話上下文、啟動任務,並決定要將哪些結果傳給 GPT-Live。

兩種模式都適用於兩條遷移路徑。例如,若 Realtime 應用程式已有獨立的後端智慧體,就可以透過用戶端委派保留該智慧體。完整比較請參閱選擇委派模式。

選擇遷移路徑

如果目前由語音模型選擇工具,請參閱從 Realtime API 遷移。如果要保留現有的智慧體並以 GPT-Live 作為語音介面,請參閱從文字智慧體或串接式管線遷移。

從 Realtime API 遷移

請先參閱 GPT-Live 提示詞指南。將現有提示詞拆分給語音模型和後端,避免將整份提示詞複製到 session.instructions。在語音提示詞中保留對話風格和委派指引,將詳細的工作流程及工具使用指示移至後端。

遷移前: Realtime 模型負責語音互動,並選擇 check_availability 和 book_appointment 等函式。應用程式執行函式並傳回結果。

遷移後: GPT-Live 負責語音互動,並將任務委派給後端。後端選擇原有的函式,應用程式仍負責驗證並執行函式。以下步驟使用 Responses 委派。如果要保留外部智慧體,請改用用戶端轉接器。

Responses 委派的運作方式

在 delegation.responses 中設定後端模型、指示和工具。當 GPT-Live 判斷某個請求需要後端處理時,Live 服務會呼叫該 Responses 模型,並提供相關的對話上下文。後端會針對任務進行推理並選擇工具。應用程式仍負責執行自訂函式、落實權限控管並傳回結果。

以預約助理為例:

  1. 使用者詢問星期五有哪些可預約時段,GPT-Live 將請求委派給後端。
  2. Responses 後端要求呼叫 check_availability。
  3. 應用程式執行函式、傳回結果,並讓後端繼續產生回應。
  4. GPT-Live 根據後端的答覆,與使用者討論可預約時段。

後端處理任務期間,GPT-Live 可以繼續說話。請分別追蹤後端任務與音訊播放:根據工具結果更新任務狀態,根據播放器狀態顯示助理是否正在說話。設定方式和完整事件流程請參閱委派與工具。

調整連線與音訊生命週期

將 Realtime 工作階段的設定流程換成 GPT-Live 連線程序。重新確認所用傳輸方式的啟動流程與音訊格式。WebRTC 透過媒體軌傳送音訊,透過資料通道傳送 JSON 事件。主要 WebSocket 連線則透過 JSON 事件傳送音訊。

如果 Realtime 應用程式使用伺服器連線來監控通話或落實防護措施,請將該連線調整為 GPT-Live 側頻連線。對話檢查與播放機制的調整方式請參閱調整防護措施。

現有的 Realtime 行為 GPT-Live 的對應做法
使用 input_audio_buffer.append 傳送 WebSocket 音訊。 傳送 session.input_audio.append,其中的 audio 欄位包含以 base64 編碼的原始音訊。
播放 response.output_audio.delta 的 delta 欄位中的音訊。 依序播放 session.output_audio.delta 的 delta 欄位中的音訊。
手動控制對話輪次時,提交音訊或建立回應以開始一輪對話。 持續串流音訊。由 GPT-Live 決定何時說話,請移除手動提交音訊及觸發語音輪次的機制。
使用 response.output_audio.done 和 response.done 追蹤音訊生成及回應完成狀態。 GPT-Live 沒有對應的事件可標記每次語音回應的結束。請在用戶端追蹤播放狀態。
根據輸入轉錄事件顯示使用者字幕。 將 session.input_transcript.delta 的文字附加至使用者字幕。
根據 response.output_audio_transcript.delta 顯示助理字幕。 將 session.output_transcript.delta 的文字附加至助理字幕。

生成與播放: 根據音訊播放器的狀態顯示助理是否正在說話。伺服器可能已完成生成,但播放器佇列中還有一秒的音訊待播。在 Realtime 中,response.output_audio.done 標記生成結束,response.done 標記回應串流結束。請檢查 response.status 以確認是否中斷或失敗。GPT-Live 沒有對應的事件可標記每次語音回應的結束。

字幕: 啟用輸入轉錄後,Realtime 會透過 conversation.item.input_audio_transcription.delta 傳送文字片段,並透過 conversation.item.input_audio_transcription.completed 傳送最終轉錄稿。在 GPT-Live 中,請依發言者將每個片段附加至來電者或助理的字幕,兩者的字幕可能同時更新。由應用程式決定如何將文字分組,並透過音訊播放器追蹤播放狀態。請參閱顯示字幕。

使用 response.create 開始或繼續執行委派給 Responses 的任務。GPT-Live 會一邊聆聽對話,一邊決定何時說話。如需瞭解如何啟動工作階段、打招呼、處理插話及結束工作階段,請參閱管理工作階段。

拆分對話與後端指示

將 Realtime 助理遷移至 GPT-Live 時,請以現有的提示詞為起點。將說話風格和發言時機的指示移至 Live 提示詞,並加入決定何時委派的規則。將任務指示與工具使用程序保留在後端提示詞中。

如果要為文字智慧體加入語音功能,請沿用現有的後端提示詞,並為語音互動撰寫 Live 提示詞。

維持一致的使用體驗

保留助理的角色、服務對象和目的,以及影響對話體驗的細節:

  • 問候語、自我介紹和口頭告知事項,包括任何指定用語或順序。
  • 語言與發音要求,例如「請說英語」。
  • 個性、親切程度、同理心、正式程度及說話節奏。
  • 語音答覆的詳細程度,以及示範預期風格的範例。
  • 助理如何回應使用者以表示正在聆聽、何時停下來聽,以及如何回應插話。

即使 Live 提示詞很短,也可以要求助理提供詳細的語音答覆。

撰寫 Live 提示詞

使用建議的提示詞結構說明助理的身分、說話風格和對話行為。保留 Backchannel policy 和 Interruption policy,分別說明助理如何以簡短回應表示正在聆聽,以及他人在助理說話時插話,助理應如何回應。

Live 必須瞭解後端能做什麼,才能正確委派。請用淺白的語言描述這些能力。函式名稱與工具結構描述應放在負責處理工具呼叫的後端。

在 Delegation policy 下,依應用程式需求調整以下各節:

  • Backend tools: 沿用現有提示詞的用語,列出應用程式支援的功能。例如:「查詢可預約時段並安排回電。」
  • Delegate to the backend when: 說明何時使用這些功能,例如「使用者要求安排回電時,委派給後端」。也要涵蓋更正、確認,以及進行中任務所需的新資訊。
  • Do not delegate to the backend when: 說明 Live 可以直接處理哪些情況,例如打招呼、簡短詢問以釐清需求,或重述對話中提過的資訊或仍有效的後端結果。

說明 Live 應如何告知進度、轉述後端接下來要問的問題,或傳達已驗證的結果。

如果助理會結束通話,請指示 Live 如何道別,以及如何委派結束通話的請求。將實際用來結束通話的工具和執行步驟放在後端。例如,程序可能要求應用程式先播完道別語,再中斷連線、取消待處理的運算,並禁止後續儲存。Live 負責道別與委派,其餘步驟由後端和應用程式處理。

調整後端提示詞

以原始提示詞為起點。只要仍然適用,就保留原有的措辭、順序、範例和結構。如果提示詞主要描述任務,大部分內容都可以沿用。

將下列指示保留在後端提示詞中:

  • 解讀使用者請求、套用更正、收集缺少的資訊,以及追蹤任務進度。
  • 運用領域知識、檢查資格,以及查閱紀錄或查詢服務以確認答案。
  • 依程序執行搜尋、更新、確認、分流、轉接、回電及其他支援的動作。
  • 套用安全、隱私與授權規則,處理失敗情況,並限制轉接或通話結束後可執行的動作。
  • 整理正確的事實、任務狀態和下一個問題,供 Live 傳達。

將語音、問候語、發言時機和委派時機的指示移至 Live 提示詞。若原有指示假設後端會直接對使用者說話,請改為讓後端傳回資訊,由 Live 轉述。凡是會影響模型可以說什麼、詢問什麼或執行什麼的安全與隱私限制,都應保留在兩份提示詞的適當位置。

將函式名稱、引數要求和工具使用程序保留在後端指示中。將工具定義放在後端的工具設定中。應用程式負責執行工具,並依目前的任務狀態檢查權限、驗證引數及確保已取得必要的確認。

使用後端模型理解對話中的請求、更正和確認。當語意取決於先前的發言或更正時,正規表示式、關鍵字清單和比對特定詞句的規則可能無法正確判讀。例如,「對」可能是在確認時段、表示聽到了問題,或是在回應先前的建議。

保留原有規則,明確規範來電者插話、通話轉接或結束時,如何處理已在執行的任務。停止說話後,後端任務仍會繼續執行。如果來電者要求取消,後端和應用程式必須處理取消請求,並將結果回報給 Live。

解決指示衝突

檢閱原始提示詞與兩份新提示詞,找出互相矛盾的指示。合併重複的指示,並將特定條件和例外情況與其適用的規則放在一起。檢查權限、提問限制、確認條件,以及通話結束後允許執行的動作。

區分使用者的意願和已發生的事。如果來電者將星期五改成星期四,後端應依最新請求處理星期四的預約。至於星期五是否已經預約,則要查看預約紀錄。後端接下來可以進行哪些變更,取決於現有的確認與授權規則。

使用提示詞前,請與產品負責人確認尚未定案的行為。例如,一項指示要求繼續辦理預約,另一項卻要求在來電者插話時停止所有工作,此時就必須決定應用程式應採取哪種行為。將議定的行為寫入提示詞,並在應用程式邏輯中落實。

確認每個必要動作都有對應的實作。要結束通話,必須具備掛斷功能。如果只是口頭道別,連線仍會保持開啟。若缺少某項功能,請決定是否要實作,或與負責該工作流程的團隊商定可支援的替代方案。

檢閱兩份提示詞

將兩份提示詞與原始提示詞比較,確認每項必要行為都有對應的指示:

  • Live 提示詞保留助理的身分、用語、說話風格、告知事項及回應插話的方式。
  • 後端提示詞保留任務程序、事實、條件、範例、權限和失敗處理方式。
  • 委派規則涵蓋新請求、更正、確認,以及同時包含一般對話與任務資訊的請求。
  • 兩份提示詞對提問限制、動作何時算是已確認,以及如何處理持續執行的任務、取消、轉接和通話結束,都有一致的規定。

將 Live 提示詞放在 session.instructions。若使用 Responses 委派,請將後端提示詞放在 session.delegation.responses.instructions。若使用用戶端委派,請將其保留在現有智慧體的設定中。將工具定義保留在後端。設定與結果處理方式請參閱委派與工具。

範例:拆分預約提示詞

這個預約助理已具備 check_availability 和 book_appointment 工具。原始提示詞同時描述說話風格和預約程序。拆分後仍保留相同的問候語、確認要求和更正處理方式。

原始提示詞

你是 Northstar Repairs 的預約助理 Rowan。
請說英語,語氣平和,措辭簡短。用以下這句話向來電者問候一次:
"Hello, this is Rowan from Northstar Repairs. How can I help?"
用簡短的回應表示你正在聆聽。來電者插話時,停止說話。

協助來電者查詢時段並辦理預約。如果還不知道來電者希望預約的日期或所在時區,
先詢問缺少的資訊,再呼叫 check_availability。
只提供查詢結果中列出的時段。請來電者確認要預約的確切時段,
取得對該時段的確認後,才能呼叫 book_appointment。
如果來電者變更日期、時區或時段,請捨棄先前的確認,重新查詢可預約時段。
只有在工具確認預約成功後,才能告知來電者預約已完成。
如果結果不明確,請說明預約尚未確認,且不要自動重試。

Live 提示詞

你是 Northstar Repairs 的預約助理 Rowan。
請說英語,語氣平和,措辭簡短。用以下這句話向來電者問候一次:
"Hello, this is Rowan from Northstar Repairs. How can I help?"

Backchannel policy: 用簡短的回應表示你正在聆聽。

Interruption policy: 來電者插話時,停止說話並聆聽。

Delegation policy:
Backend tools:
- 預約:查詢可預約時段並辦理預約。

Delegate to the backend when:
- 來電者想查詢可預約時段或辦理預約。
- 來電者提供或更正日期、時區或時段,或回答與預約有關的問題,包括確認時段。

Do not delegate to the backend when:
- 來電者向你打招呼,或請你重述仍然有效的結果。
- 你需要簡短追問才能釐清來電者的需求。

轉述後端的問題和結果。只提供後端傳回的時段。
只有在後端確認預約成功後,才能告知來電者預約已完成。
如果後端回報的結果不明確,請說明預約尚未確認。

後端提示詞

協助來電者查詢 Northstar Repairs 的可預約時段並辦理預約。
如果還不知道來電者希望預約的日期或所在時區,先詢問缺少的資訊,
再呼叫 check_availability。只提供查詢結果中列出的時段。
請來電者確認要預約的確切時段,取得對該時段的確認後,才能呼叫 book_appointment。
如果來電者變更日期、時區或時段,請捨棄先前的確認,重新查詢可預約時段。
只有在工具確認預約成功後,才能回報預約已完成。
如果結果不明確,請回報預約尚未確認,且不要自動重試。

傳回可預約時段、預約結果或下一個要問的問題,交由語音助理轉述。
根據對話內容和目前的任務狀態,解讀來電者最新的答覆與更正。

調整函式處理常式

保留 check_availability 和 book_appointment 的實作。將其定義從 Realtime 的 session.tools 或 response.tools 移至 delegation.responses.tools,並採用 Responses 的函式結構描述。將工具選擇設定移至 delegation.responses.tool_choice 和 delegation.responses.parallel_tool_calls。請參閱設定 Responses 委派。

函式仍會針對原始 call_id 傳回結果。改變的是處理常式從何處接收呼叫,以及將結果傳往何處:

步驟 Realtime API 使用 Responses 委派的 GPT-Live
接收完整的函式呼叫。 讀取 response.output_item.done。 解開 response.event,再讀取其中的 response.output_item.done。
識別並執行操作。 讀取項目的 name、arguments 和 call_id,然後執行已獲授權的處理常式。 保留該處理常式及其檢查。在應用程式中保留外層的 delegation_id 和後端回應 ID。
傳回各函式的結果。 傳送 conversation.item.create。 傳送 response.item.create。
提交所有必要結果後繼續執行。 傳送 response.create。 傳送 response.create 讓後端繼續執行任務。

例如,check_availability 傳回已驗證的時段後,請在已連線的工作階段中傳送以下內容。將 call_availability 換成你收到的呼叫 ID。

遷移前:Realtime 結果

{
  "type": "conversation.item.create",
  "item": {
    "type": "function_call_output",
    "call_id": "call_availability",
    "output": "{\"available\":true,\"slot_id\":\"slot_friday_14\",\"booked\":false}"
  }
}

遷移後:GPT-Live 結果

import type { ClientEvent } from "openai/resources/live/live";

export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
  connection.send({
    type: "response.item.create",
    event_id: "availability_result_1",
    item: {
      type: "function_call_output",
      call_id: "call_availability",
      output: '{"available":true,"slot_id":"slot_friday_14","booked":false}',
    },
  });
}

提交所有必要的函式結果後,讓後端繼續執行:

import type { ClientEvent } from "openai/resources/live/live";

export function sendUpdate(connection: { send: (event: ClientEvent) => void }) {
  connection.send({
    type: "response.create",
    event_id: "continue_availability_1",
  });
}

遷移初期,請將 parallel_tool_calls 設為 false,一次處理一個工具呼叫。從內層的 response.output_item.done 事件收集每個函式呼叫,並保留函式名稱、引數和 call_id。即使後續的完成事件包含 output: [],仍須保留該紀錄。請等到收到完整的項目後再執行處理常式,因為單憑表示引數已接收完畢的事件,無法取得函式名稱和 call_id。收集呼叫、提交輸出及處理錯誤時,請遵循完整的函式結果處理程序。

保留上下文並套用更正

Responses 委派會向後端提供相關的語音對話上下文。請在應用程式中維護預約狀態的正式紀錄,包括選定的時段、已確認的時段、權限、進行中的操作及結果。Live 對話歷史可能會經過壓縮,不能用來取代預約紀錄。

當使用者說「還是改成星期五好了」時,請將星期五記為目前的請求,並清除先前對星期四時段的所有確認。為任務指定新的版本號碼,例如第 2 版,讓應用程式可以辨識哪些結果來自先前的請求。

預約前,請確認日期、時段和已取得的確認仍與目前的請求相符。如果因使用者變更請求而拒絕執行待處理的函式呼叫,請依實際情況傳回結果,說明該呼叫已略過或已取消。必須為每個必要呼叫提交結果,才能讓後端繼續執行。

如果星期四的預約已成功,請先檢查該預約的目前狀態,並處理使用者要求的變更,再嘗試進行另一筆預約。

請原樣保留收到的每個轉錄片段,並一併保留發言者、start_ms 和 end_ms。根據這些資訊更新來電者或助理對應的字幕或訊息泡泡,即使片段延遲抵達或雙方同時說話,也能更新到正確的位置。由應用程式決定訊息如何分段,並在播放器中追蹤音訊播放狀態。轉錄時間戳記無法指出每個詞的確切播放時間。若無法確定使用者的意思,請再確認重要的日期、姓名和數字。轉錄與上下文的處理方式請參閱管理工作階段。

圖片與畫面上下文: 如果 Realtime 應用程式接受圖片,請將圖片傳送至具備視覺能力的後端,並將相關文字傳回 GPT-Live。用戶端委派和 Responses 委派都支援這種做法。請參閱新增圖片與視覺上下文。

保留依賴音訊的判斷

有些判斷必須聽到聲音本身,例如偵測語音信箱的提示音,或根據問候語的時間特徵辨識預錄訊息。GPT-Live 能聽到通話內容,但委派時不會自動將音訊傳給後端。在用戶端模式下,session.delegation.created 包含 ID 和時間資訊,而請求的上下文及後端所需的音訊都由應用程式提供。

若要偵測電話答錄系統,請明確將來電音訊傳送至能處理音訊的偵測器。可以評估一種由應用程式管理的架構,在通話的部分時段,讓獨立的 Realtime 工作階段與 GPT-Live 同時執行:

  1. 將來電音訊各傳送一份至兩個工作階段。
  2. 讓偵測器透過結構化的函式呼叫回報分類結果。依結構描述驗證每個結果,拒絕過時的結果,並在證據不足時將狀態保留為未知。允許根據後續證據修正判斷。
  3. 將相關且可信的上下文傳送至 GPT-Live,並依應用程式政策控制傳出音訊的播放。

請分別追蹤兩項判斷:對方是真人還是機器,以及對方是否已準備好錄下留言。偵測器可能在問候語還沒播完時就辨識出語音信箱。請等到取得應用程式要求的證據,再允許播放傳出音訊。上下文更新的確認訊息表示系統已接受更新,是否播放仍由應用程式決定。請參閱調整防護措施,並使用播放控制,在應用程式可控制的音訊路徑中落實該決定。

請測試以下情境:開頭只聽到一聲簡短的「喂」,接著才聽出是語音信箱問候語;系統播放來電篩選提示;以及語音信箱啟動後有人接起電話。如果打算在通話結束前停止偵測器,請測試停止後才有人接聽時會發生什麼情況。根據測試結果和偵測器的額外成本,決定應執行多久。測試也要涵蓋起初判定為「真人」,但收到更多音訊後分類改變的情況。

從文字智慧體或串接式管線遷移

遷移前: 文字智慧體接收書面請求,並使用自己的工具和已儲存的狀態。串接式(或稱級聯式)語音管線會在智慧體之前加入語音轉文字階段,並在其後加入文字轉語音階段。

遷移後: GPT-Live 提供語音介面,並將任務委派給現有的智慧體。對於串接式管線,GPT-Live 會取代原本獨立的語音轉文字和文字轉語音階段。只要仍適用於任務,請在後端保留原有的模型、指示、工具、工作流程和持久狀態。

連接現有的智慧體

將 delegation 設為 {"type":"client"},即可在設定工作階段時啟用用戶端委派。應用程式會收到類似以下的通知:

{
  "type": "session.delegation.created",
  "offset_ms": 1000,
  "delegation": {
    "id": "item_appointment_1",
    "type": "delegation",
    "target": "client"
  }
}

收到此通知時,啟動應用程式的委派處理常式。請保留 delegation.id,以便將結果附加至同一個請求。處理常式會根據來電者和助理的轉錄文字,以及應用程式保存的任務紀錄,準備智慧體的輸入。通知本身不包含請求文字或工具引數。

例如,預約智慧體可能收到以下內容:

來電者:「還是改成星期五好了。」

目前請求:以來電者所在的時區查詢星期五的可預約時段。

先前結果:已向來電者提供星期四下午 2 點的時段。

確認狀態:尚未確認星期五的任何時段。

任務版本:2。

通知可能在整句話轉錄完畢前就抵達。請先保留通知,等到取得足夠的上下文再採取行動,或先請來電者說明清楚。

在文字應用程式中,你可能會直接將使用者的最新訊息傳給智慧體。使用 GPT-Live 時,請加入轉接器,由它提供所需的上下文並傳回簡潔、已驗證的結果。

呼叫轉接器前,先記錄委派 ID,確保只有一個處理常式開始處理該委派。如果請求不明確,等上下文齊備後再呼叫轉接器。

後端仍負責授權、確認、操作 ID 和重試。變更預約前,請檢查目前的任務版本。轉接器稍後執行的版本檢查只能防止助理播報過時的結果,無法撤銷已完成的預約。

將用戶端委派連接至智慧體
import type {
  ServerEvent,
  CommentaryAppendEvent,
  DelegationCreatedEvent,
} from "openai/resources/live/live";

type AgentContext = {
  revision: number;
  recentConversation: string;
  task: string;
};
type DelegationApp = {
  readContext(): AgentContext | null;
  runAgent(context: AgentContext): Promise<string>;
  currentRevision(): number;
  send(event: CommentaryAppendEvent): void;
};

async function handleDelegation(event: ServerEvent, app: DelegationApp) {
  if (
    event.type !== "session.delegation.created" ||
    event.delegation?.target !== "client"
  )
    return;

  const context = app.readContext();
  if (!context) return; // Retain the notice; resolve the request before acting.

  const summary = await app.runAgent({
    revision: context.revision,
    recentConversation: context.recentConversation,
    task: context.task,
  });

  if (app.currentRevision() !== context.revision) return;

  app.send({
    type: "session.commentary.append",
    event_id: crypto.randomUUID(),
    delegation_id: event.delegation.id,
    content: summary,
  });
}

在應用程式中實作上下文回呼和智慧體回呼。上下文回呼會傳回最近的對話和目前的任務,如果請求仍不明確,就不傳回任何值。智慧體回呼會執行現有後端,並傳回經過驗證、不超過 500 個 Token 的摘要。在 JavaScript 中,由應用程式提供的 send 回呼透過 Live 連線傳送 JSON 事件。在 Python 中,轉接器會直接透過 SDK 的 connection 傳送更新。

對預約助理而言,上下文應明確記錄使用者要求的日期和時區、先前提供的時段、已確認的時段,以及最新的更正。查詢可預約時段的結果應說明該時段可供預約,且尚未完成預約。只有預約成功後才能傳回預約確認。完整設定與結果處理流程請參閱用戶端委派。

傳送更新與更正

將結構化工具輸出與工作流程細節保留在後端,只將簡短的事實更新傳回 GPT-Live:

  • 使用 session.thinking.append 傳送背景任務進度,例如查詢仍在進行中。
  • 使用 session.commentary.append 傳送應告知使用者的已驗證結果。
  • 使用 session.instructions.append 傳送由應用程式撰寫的行為指引。

三者的 content 都是最多 500 個 Token 的純字串,且都必須提供 delegation_id。相關任務請使用原始的用戶端委派 ID,一般工作階段上下文則使用 null。使用 client_event_id 將每則確認訊息與傳出的指令配對,以確認更新已獲接受。透過助理轉錄事件查看已生成的語音內容,並根據播放器狀態追蹤播放進度。請參閱傳送適當類型的更新。

當使用者說「還是改成星期五好了」時,將星期五儲存為目前的請求,遞增版本號碼,並清除先前對星期四時段的所有確認。將這項更正傳送至現有的智慧體。接著決定要要求取消星期四的查詢、變更查詢,還是讓查詢完成後捨棄其結果。

請追蹤查詢狀態,確認已取消後再回報。即使使用者插話已讓助理停止說話,仍須在後端處理這項決定。

語音工作階段結束後,後端任務可能仍在執行。請在應用程式中持久儲存任務狀態。下次進行語音互動時,使用已儲存的相關上下文啟動新的工作階段。請參閱管理工作階段。

讓智慧體持續接收鍵入的文字

繼續將鍵入的文字傳送至現有後端。將使用者鍵入的更正視為對同一項任務的更新,並將相關且已驗證的上下文傳送至語音工作階段。請參閱接受鍵入的文字和確保更新正確且實用。

調整文字與語音防護措施

文字智慧體或串接式管線可以在顯示或朗讀回覆前驗證整份回覆。使用 GPT-Live 時,對話與後端任務會同時進行。如果每次語音回應都必須先通過檢查才能讓使用者聽到,請將檢查放在應用程式可控制的音訊播放路徑中。單單暫緩傳送後端結果,無法暫停所有語音。

請依照調整防護措施保留現有的檢查,並考量助理可能持續說話的情況。

調整防護措施

無論從哪種架構遷移,都請保留現有應用程式的輸入與輸出防護措施。在後端處理任務及執行政策檢查時,GPT-Live 可以繼續說話,因此對話內容和後端執行的動作都必須接受檢查。

如果伺服器需要監控或控制瀏覽器的 WebRTC 工作階段,請附加側頻 WebSocket,以接收轉錄文字並傳送修正指示。音訊仍透過 WebRTC 傳輸。如果伺服器已透過主要 WebSocket 連線串流音訊,請使用該連線的事件串流來執行這些檢查。單純選用 Responses 委派並不需要側頻連線。

  1. 監控使用者與助理的轉錄事件,並在對話進行時同步執行檢查。
  2. 在應用程式程式碼中封鎖受影響的工具與外部動作。在支援取消的情況下,取消由應用程式管理的相關任務,並防止延遲抵達的結果使已封鎖的請求繼續執行。
  3. 傳送 session.instructions.append 來引導助理調整回應,並在應用程式中記錄這項決定。

例如,如果來電者在未經授權的情況下要求預約助理變更他人的預約,請在預約操作執行前將其封鎖,再指示助理說明無法進行這項變更。請確認預約紀錄未被更動,並驗證語音回覆。單憑助理口頭拒絕,無法落實授權控管。

修正指示無法收回使用者已聽到的音訊。如果應用程式需要在播放前檢查助理的語音內容,請依照在播放前檢查語音處理緩衝、核准、中斷與復原。如需瞭解如何控制動作並查看修正指示範例,請參閱套用對話防護措施。如果開場必須使用指定措辭,請參閱傳達告知事項。

驗證遷移結果

使用目前應用程式中具代表性的對話,比較助理遷移前後的表現。保持情境、後端工具與成功標準一致,重複測試每個情境,並分別記錄刻意變更的行為和退化問題:

  • 動作與口頭確認: 查詢可預約時段,請使用者確認,並只預約已確認的時段。分別驗證後端結果、口頭答覆和用戶端播放情況。
  • 更正與防止重複操作: 在請求尚未處理完畢時,將星期四改為星期五。捨棄過時的結果,並確保重試不會建立第二筆預約。
  • 權限: 嘗試執行未獲授權的動作,以及在尚未取得確認時進行預約。確認應用程式政策會阻止這些操作執行。
  • 防護措施介入: 在助理說話和工具執行期間觸發檢查。確認助理收到修正指示、即使工具結果延遲抵達也不會解除對相關動作的封鎖,以及播放會依預期恢復。檢查執行中的操作是否確實停止。測試也應涵蓋耗時的檢查與誤判為違規的情況。
  • 插話: 在助理說話或處理任務時開口。分別驗證對話內容、音訊播放和後端任務狀態。
  • 失敗與重新連線: 測試工具錯誤、結果遺失和連線中斷的情況。如果預約請求的回應遺失,請先確認預約是否成功,再決定是否重試。使用已儲存的任務上下文啟動下一個語音工作階段,並確認它能根據已知結果繼續處理任務。

請參閱降低後端延遲調校遷移後的後端。使用語音智慧體評估 Cookbook比較使用者從提出請求到聽見有用答覆所需的時間,以及任務成功情況,並參考成本最佳化比較用量與成本。