如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

音訊與語音

開發語音對話應用程式可從 GPT-Live 開始,其他音訊任務則可選用適合的 API。

開發新的語音對話應用程式時,請從 GPT-Live 開始。它能在說話的同時聆聽使用者,也能在後端智慧體進行推理、使用工具或執行任務時,繼續與使用者交談。

請依照 WebRTC 快速入門指南建立連線,開始第一次對話,接著撰寫簡短的 Live 提示詞。如果你已有 Realtime 應用程式或文字智慧體,請依照遷移至 GPT-Live 的步驟操作。

選擇其他音訊工作流程

如果你需要 Realtime API 的工作階段與工具模型,請使用該 API。如果要在不使用對話式智慧體的情況下進行轉錄、翻譯或語音生成,請從下表選擇相應的專用 API。

開發目標 入門指南 可控制的項目
使用 Realtime 工作階段與工具模型的語音到語音智慧體 Realtime API 語音對話回合、工作階段狀態、工具及使用者打斷對話時的處理方式。
為現有文字智慧體建立語音介面 語音智慧體 先將語音轉為文字,再執行文字智慧體的工作流程,最後將文字轉為語音。
將音訊檔案轉錄為文字 檔案轉錄 檔案上傳、範圍明確的個別請求,以及支援的轉錄文字格式。
提供即時字幕,無須助理開口說話 即時轉錄 串流音訊,以及逐步更新轉錄文字的事件。
連續翻譯語音 即時翻譯 使用專用翻譯工作階段,無須透過語音智慧體逐回合互動。
製作旁白或生成語音 文字轉語音 文字、音色與輸出格式。
在現有聊天應用程式中加入音訊輸入或輸出功能 在 Chat Completions 中使用音訊 範圍明確的個別多模態對話請求。

開發語音應用程式

請參閱語音智慧體指南,比較不同架構。先閱讀 GPT-Live 或 Realtime 的提示詞撰寫指南,再參閱兩者共用的自訂音色、評估與成本最佳化指南。各指南都會說明哪些行為僅適用於特定模型或 API。

選擇連線方式

在瀏覽器中處理音訊,請從 WebRTC 開始。在伺服器上建立音訊處理管線,請使用 WebSockets。如需處理電話通話,請參閱電話通訊與 SIP。透過伺服器端控制連線,受信任的後端可以監看並控制媒體工作階段。

請在各連線指南頁面選擇你使用的 API。即使 GPT-Live 與 Realtime 採用相同的傳輸方式,兩者的交握程序、憑證及事件格式仍無法互換。請參閱相應的連線指南,瞭解先決條件與設定步驟。

在現有應用程式中加入音訊功能

Chat Completions 的範例現已移至在 Chat Completions 中使用音訊。若要開始開發在瀏覽器中執行的語音智慧體,請參閱 GPT-Live WebRTC 快速入門指南。