如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

GPT-Live 入門指南

建立語音對話,讓使用者在後端智慧體執行任務時仍能繼續交談。

GPT-Live 負責與使用者進行語音對話,同時由後端智慧體查詢資訊、使用工具並完成任務。GPT-Live 說話時也能聆聽使用者的聲音(全雙工)。將任務交給後端處理稱為委派。

例如,使用者可以詢問訂單狀態,並在後端查詢時補充細節。GPT-Live 可以繼續與使用者交談,等後端傳回結果後再向使用者說明。你可以分別選擇語音模型,以及後端使用的模型或智慧體。

了解 GPT-Live 與後端的分工

  • GPT-Live 負責對話。 它會聆聽、說話,並判斷何時需要後端協助。用簡短的提示詞指定對話風格,以及何時應委派任務。
  • 後端負責執行受委派的任務。 使用 Responses 委派時,請選擇支援此模式的 Responses 模型。使用用戶端委派時,你可以連接應用程式執行的任何模型、智慧體任務執行框架或服務。後端會進行推理、使用工具,並傳回結果,由 GPT-Live 轉達給使用者。請在後端設定詳細指示、業務規則和工具使用流程。

應用程式負責檢查權限、取得必要的確認、執行可存取你系統的函式,以及儲存任務進度。即使來電者打斷助理,後端仍可繼續執行任務,由應用程式決定要完成還是取消任務。如要比較 GPT-Live、Realtime 和採用串接架構的語音應用程式,請參閱語音智慧體。

選擇後端執行方式

建議先使用 Responses 委派,由 OpenAI 執行後端模型,並在模型與 GPT-Live 之間傳遞對話上下文和結果。你自訂的函式工具仍由應用程式執行。如果要連接現有的智慧體,或自行控制後端的上下文、執行過程和傳回結果,請選擇 用戶端委派 模式。

兩種模式的比較和設定方式,請參閱選擇委派模式。請在建立工作階段時選擇模式。如要切換模式,請啟動新的工作階段。

連上第一個工作階段

先從 GPT-Live WebRTC 快速入門指南開始。指南中的瀏覽器端和伺服器端範例會連接麥克風輸入與喇叭輸出,並使用支援網頁搜尋的 Responses 後端。

你需要麥克風、透過 HTTPS 或 localhost 提供的網頁,以及持有 OpenAI 專案 API 金鑰的可信任伺服器。請將金鑰保存在伺服器上。

  1. 撰寫簡短的對話提示詞,告訴 GPT-Live 何時應請後端協助。
  2. 按照快速入門指南的步驟,接通瀏覽器的麥克風、音訊播放和事件通道。伺服器會建立工作階段,並用瀏覽器提出的連線提議換取連線回應。
  3. 等待 session.started 事件,再開口說話並聆聽回覆。提出一個需要最新資訊才能回答的問題,試試後端的網頁搜尋功能。
  4. 結束對話並關閉工作階段,以取得最終用量並釋放連線。

首次測試時,請聆聽助理的回覆,確認回答是否反映後端的搜尋結果。

GPT-Live 語音工作階段依持續時間按秒計費。目前的費率請參閱模型定價。後端模型和工具的用量另行計費。如要了解如何計算用量及降低成本,請參閱成本最佳化。

範例應用程式與用戶端 SDK

  • OpenAI Live Console 是可在本機執行的範例應用程式,方便你試用 GPT-Live 對話與委派功能,並查看後端工具的執行情形。
  • Switchboard OpenAI Live Toolkit 是第三方 React Native SDK,可用來開發 iOS 上的 GPT-Live 應用程式。

選擇連線方式

  • WebRTC 是瀏覽器、行動裝置和伺服器應用程式建立音訊連線的建議方式。它透過媒體軌傳輸音訊,並透過資料通道傳輸 JSON 事件。
  • WebSockets 是另一種支援的連線方式,可透過同一條連線傳輸音訊和控制事件。
  • 電話與 SIP 可用來接通電話。

如要從後端監控或控制現有的工作階段,請新增伺服器端連線。這條額外的 WebSocket 連線稱為旁帶連線,音訊仍透過工作階段的主要連線傳輸。

合作夥伴整合

如果你的應用程式已使用 LiveKit、Twilio、Telnyx、Bandwidth 或 Daily/Pipecat,請依照合作夥伴整合總覽的說明,將現有通話或音訊串流連接到 GPT-Live。

繼續開發