開發新的語音對話應用程式時,請從 GPT-Live 開始。它能在說話的同時聆聽使用者,也能在後端智慧體進行推理、使用工具或執行任務時,繼續與使用者交談。
請依照 WebRTC 快速入門指南建立連線,開始第一次對話,接著撰寫簡短的 Live 提示詞。如果你已有 Realtime 應用程式或文字智慧體,請依照遷移至 GPT-Live 的步驟操作。
選擇其他音訊工作流程
如果你需要 Realtime API 的工作階段與工具模型,請使用該 API。如果要在不使用對話式智慧體的情況下進行轉錄、翻譯或語音生成,請從下表選擇相應的專用 API。
| 開發目標 | 入門指南 | 可控制的項目 |
|---|---|---|
| 使用 Realtime 工作階段與工具模型的語音到語音智慧體 | Realtime API | 語音對話回合、工作階段狀態、工具及使用者打斷對話時的處理方式。 |
| 為現有文字智慧體建立語音介面 | 語音智慧體 | 先將語音轉為文字,再執行文字智慧體的工作流程,最後將文字轉為語音。 |
| 將音訊檔案轉錄為文字 | 檔案轉錄 | 檔案上傳、範圍明確的個別請求,以及支援的轉錄文字格式。 |
| 提供即時字幕,無須助理開口說話 | 即時轉錄 | 串流音訊,以及逐步更新轉錄文字的事件。 |
| 連續翻譯語音 | 即時翻譯 | 使用專用翻譯工作階段,無須透過語音智慧體逐回合互動。 |
| 製作旁白或生成語音 | 文字轉語音 | 文字、音色與輸出格式。 |
| 在現有聊天應用程式中加入音訊輸入或輸出功能 | 在 Chat Completions 中使用音訊 | 範圍明確的個別多模態對話請求。 |
開發語音應用程式
請參閱語音智慧體指南,比較不同架構。先閱讀 GPT-Live 或 Realtime 的提示詞撰寫指南,再參閱兩者共用的自訂音色、評估與成本最佳化指南。各指南都會說明哪些行為僅適用於特定模型或 API。
選擇連線方式
在瀏覽器中處理音訊,請從 WebRTC 開始。在伺服器上建立音訊處理管線,請使用 WebSockets。如需處理電話通話,請參閱電話通訊與 SIP。透過伺服器端控制連線,受信任的後端可以監看並控制媒體工作階段。
請在各連線指南頁面選擇你使用的 API。即使 GPT-Live 與 Realtime 採用相同的傳輸方式,兩者的交握程序、憑證及事件格式仍無法互換。請參閱相應的連線指南,瞭解先決條件與設定步驟。
在現有應用程式中加入音訊功能
Chat Completions 的範例現已移至在 Chat Completions 中使用音訊。若要開始開發在瀏覽器中執行的語音智慧體,請參閱 GPT-Live WebRTC 快速入門指南。