GPT-Live 負責與使用者進行語音對話,同時由後端智慧體查詢資訊、使用工具並完成任務。GPT-Live 說話時也能聆聽使用者的聲音(全雙工)。將任務交給後端處理稱為委派。
例如,使用者可以詢問訂單狀態,並在後端查詢時補充細節。GPT-Live 可以繼續與使用者交談,等後端傳回結果後再向使用者說明。你可以分別選擇語音模型,以及後端使用的模型或智慧體。
了解 GPT-Live 與後端的分工
- GPT-Live 負責對話。 它會聆聽、說話,並判斷何時需要後端協助。用簡短的提示詞指定對話風格,以及何時應委派任務。
- 後端負責執行受委派的任務。 使用 Responses 委派時,請選擇支援此模式的 Responses 模型。使用用戶端委派時,你可以連接應用程式執行的任何模型、智慧體任務執行框架或服務。後端會進行推理、使用工具,並傳回結果,由 GPT-Live 轉達給使用者。請在後端設定詳細指示、業務規則和工具使用流程。
應用程式負責檢查權限、取得必要的確認、執行可存取你系統的函式,以及儲存任務進度。即使來電者打斷助理,後端仍可繼續執行任務,由應用程式決定要完成還是取消任務。如要比較 GPT-Live、Realtime 和採用串接架構的語音應用程式,請參閱語音智慧體。
選擇後端執行方式
建議先使用 Responses 委派,由 OpenAI 執行後端模型,並在模型與 GPT-Live 之間傳遞對話上下文和結果。你自訂的函式工具仍由應用程式執行。如果要連接現有的智慧體,或自行控制後端的上下文、執行過程和傳回結果,請選擇 用戶端委派 模式。
兩種模式的比較和設定方式,請參閱選擇委派模式。請在建立工作階段時選擇模式。如要切換模式,請啟動新的工作階段。
連上第一個工作階段
先從 GPT-Live WebRTC 快速入門指南開始。指南中的瀏覽器端和伺服器端範例會連接麥克風輸入與喇叭輸出,並使用支援網頁搜尋的 Responses 後端。
你需要麥克風、透過 HTTPS 或 localhost 提供的網頁,以及持有 OpenAI 專案 API 金鑰的可信任伺服器。請將金鑰保存在伺服器上。
- 撰寫簡短的對話提示詞,告訴 GPT-Live 何時應請後端協助。
- 按照快速入門指南的步驟,接通瀏覽器的麥克風、音訊播放和事件通道。伺服器會建立工作階段,並用瀏覽器提出的連線提議換取連線回應。
- 等待
session.started事件,再開口說話並聆聽回覆。提出一個需要最新資訊才能回答的問題,試試後端的網頁搜尋功能。 - 結束對話並關閉工作階段,以取得最終用量並釋放連線。
首次測試時,請聆聽助理的回覆,確認回答是否反映後端的搜尋結果。
GPT-Live 語音工作階段依持續時間按秒計費。目前的費率請參閱模型定價。後端模型和工具的用量另行計費。如要了解如何計算用量及降低成本,請參閱成本最佳化。
範例應用程式與用戶端 SDK
- OpenAI Live Console 是可在本機執行的範例應用程式,方便你試用 GPT-Live 對話與委派功能,並查看後端工具的執行情形。
- Switchboard OpenAI Live Toolkit 是第三方 React Native SDK,可用來開發 iOS 上的 GPT-Live 應用程式。
選擇連線方式
- WebRTC 是瀏覽器、行動裝置和伺服器應用程式建立音訊連線的建議方式。它透過媒體軌傳輸音訊,並透過資料通道傳輸 JSON 事件。
- WebSockets 是另一種支援的連線方式,可透過同一條連線傳輸音訊和控制事件。
- 電話與 SIP 可用來接通電話。
如要從後端監控或控制現有的工作階段,請新增伺服器端連線。這條額外的 WebSocket 連線稱為旁帶連線,音訊仍透過工作階段的主要連線傳輸。
合作夥伴整合
如果你的應用程式已使用 LiveKit、Twilio、Telnyx、Bandwidth 或 Daily/Pipecat,請依照合作夥伴整合總覽的說明,將現有通話或音訊串流連接到 GPT-Live。
繼續開發
- 參閱為 GPT-Live 撰寫提示詞,設定對話風格與委派行為。
- 參閱委派與工具,連接工具並降低後端延遲。
- 參閱管理工作階段,管理上下文、逐字稿和工作階段的生命週期。
- 參閱遷移至 GPT-Live,為使用 Realtime 或以文字互動的智慧體選擇遷移方式。
- 參閱評估語音智慧體,測試對話與任務的結果。