透過語音智慧體,使用者可以直接和你的應用程式交談,提出問題並完成任務。設計時,首先要決定如何將語音與推理、工具使用結合起來。你可以讓對話持續進行,把任務交給獨立後端處理,也可以由單一語音模型負責,或使用能逐階段控制的管線。
選擇合適的架構
| 架構 | 適用情境 | 選用理由 |
|---|---|---|
| GPT-Live | 搭配獨立後端的全雙工對話 | 保留現有的文字工作流程,自行選擇後端,並在後端處理任務時繼續對話。 |
| Realtime API | 在同一個工作階段中處理語音、進行推理並使用工具 | 由同一個模型解讀音訊、決定下一步行動,再以語音回應。 |
| 串接式語音管線 | 需要控制語音和文字處理的各個階段 | 可以檢查或轉換中間階段的文字,也可以單獨更換任一元件。 |
建構全雙工語音智慧體
GPT-Live 可以一邊聆聽一邊說話,這種能力稱為全雙工。即時語音模型負責與使用者交談,並將推理和工具使用委派給獨立的後端。後端執行任務時,使用者可以繼續說話。
你可以保留現有的文字工作流程,包括其中的業務邏輯與工具,再加上 GPT-Live 作為語音介面。你選擇的委派模式決定由誰執行後端任務,以及由誰提供執行任務所需的對話上下文:
- 用戶端委派: 連接自己的智慧體或工作流程,自行選擇後端模型與供應商。應用程式負責執行任務,並將結果傳回 GPT-Live。
- Responses 委派: 選擇由 OpenAI 託管的 Responses 模型,讓它在後端進行推理並使用工具。GPT-Live 會提供對話上下文並管理對該模型的呼叫,自訂函式則仍由你的應用程式執行。
兩種模式都由你的應用程式控管權限與業務紀錄。請在即時語音模型的提示詞中設定說話方式,並在後端提示詞中定義業務規則。
請先閱讀 GPT-Live 入門指南。如需設定後端,請參閱委派與工具。如需調整說話方式,請參閱為語音模型撰寫提示詞。
建構語音到語音智慧體
使用 Realtime API 時,可以從 RealtimeAgent 和 RealtimeSession 著手,優先在瀏覽器中建構語音智慧體。工作階段會處理語音對話的各個回合、工具使用、插話與任務交接。完整的入門範例現已收錄於 Realtime API 入門指南。
建構串接式語音工作流程
如果你想在語音辨識、智慧體處理和語音生成這些階段之間檢查或轉換文字,可以採用串接式架構。應用程式負責管理三個階段:
- 語音轉文字
- 智慧體本身的工作流程
- 文字轉語音
import asyncio
import numpy as np
from agents import Agent, function_tool
from agents.voice import AudioInput, SingleAgentVoiceWorkflow, VoicePipeline
@function_tool
def get_weather(city: str) -> str:
"""Get the weather for a given city."""
return f"The weather in {city} is sunny."
agent = Agent(
name="Assistant",
instructions="You are a helpful voice assistant.",
model="gpt-6-astra",
tools=[get_weather],
)
async def main() -> None:
pipeline = VoicePipeline(workflow=SingleAgentVoiceWorkflow(agent))
audio_input = AudioInput(buffer=np.zeros(24000 * 3, dtype=np.int16))
result = await pipeline.run(audio_input)
async for event in result.stream():
if event.type == "voice_stream_event_audio":
print("Received audio bytes", event.data.nbytes)
if __name__ == "__main__":
asyncio.run(main())如果需要查看各階段的處理過程,或單獨更換其中任一階段,就適合採用這種架構。例如,你可以儲存逐字稿,在文字智慧體回應前執行政策檢查,接著呼叫內部系統,等到工作流程產生的答案獲得核准後,再生成語音。
評估語音智慧體
測試時,既要檢查對話過程,也要確認任務的執行結果。以預約助理為例,除了聆聽預約確認內容,也要檢查系統儲存的預約資料是否正確。
- 選擇具代表性的情境,列出各情境的預期結果、工具呼叫與所需權限。
- 儲存驗證各項結果所需的音訊、事件、工具結果與應用程式狀態。請區分兩種情況:評估程序本身執行失敗,以及評估程序正常執行但智慧體未能完成任務。
- 重複測試相同情境,比較任務完成情況、聽到回應前的延遲、插話情形與不必要的靜默。比較變更前後的表現時,請使用相同的通話者、模型設定、工具與傳輸方式。
評估 GPT-Live 時,請分別衡量以下面向:
- 任務與工具執行結果: 檢查智慧體是否保留使用者的原意,並核對委派的任務、工具引數、權限及應用程式的最終狀態。確認口頭告知的結果與實際完成的動作一致。
- 對話時機: 衡量通話者等多久才聽到回應,並檢查是否出現不必要的靜默或雙方同時說話,以及通話者插話時智慧體是否適時停下來聆聽。測試時也應涵蓋通話者在後端執行任務期間出聲更正的情況。
- 語音與語言: 測試智慧體能否在不同口音、有背景噪音或切換語言的情況下辨識輸入,也要測試名稱與數字的辨識效果。對於輸出,請另外評估語音是否清楚易懂,以及所選語言是否合適。
- 工作階段可靠性: 追蹤連線失敗、音訊遺失、逾時與工作階段未完成的情況,並與任務分數分開記錄。
採用爬、走、跑三個階段,逐步提高測試複雜度:
- 爬: 使用合成語音,在受控條件下測試單回合請求。固定生成的音訊、應用程式上下文與預期結果,以便重複測試並比較結果。
- 走: 重播具代表性的真人單回合請求錄音,測試不同的聲音、麥克風、停頓與聲學條件如何影響智慧體的表現。
- 跑: 使用獨立的模擬通話者進行連續的多回合對話。在對話與後端任務同時進行時,測試智慧體能否釐清需求、因應需求變更、處理插話,並在中斷後恢復。
除了自動評分,也請安排人工聆聽,評估發音、語音自然度,以及對話節奏是否合宜。
如需 GPT-Live 的評估任務執行框架,請參閱 Cookbook 的語音智慧體評估範例。
如需 Realtime 的評估任務執行框架與完整示範,請參閱 OpenAI Cookbook 的 Realtime 評估指南。
測量延遲
測量通話者要等多久才能聽到有用的答案。另行記錄後端耗時,以找出延遲發生的位置,並比較相似通話的延遲中位數與第 95 百分位數。
比較前端模型時,請固定通話者、錄音、後端模型、提示詞、傳輸方式、音訊傳送節奏與評分器。
使用 GPT-Live 時,請記錄應用程式能觀察到的各個時間點:收到委派、開始發送後端請求、取得第一個有用的結果、工具開始與結束執行、提交結果、收到音訊,以及用戶端播放音訊。採用用戶端委派時,應用程式可以直接觀察自己的後端請求。採用 Responses 委派時,則可以觀察巢狀回應事件,以及應用程式所執行的自訂工具。
根據這些時間點,判斷延遲是發生在建立連線、模型處理、工具執行、緩衝還是播放階段。請分開測量通話者聽到「我正在查詢」這類簡短回應的時間,以及聽到所需答案的時間。
每次只改變一項因素,並重複測試相同情境。檢查加快回應速度是否也會影響任務成功率、工具使用的正確性或插話情形。請參閱降低後端延遲。
語音智慧體仍採用相同的核心元件
改用語音介面會改變傳輸方式與音訊收發迴圈,但設計工作流程時仍需做出相同的決策:
- 語音智慧體需要外部功能時,請參閱使用工具。
- 語音工作流程需要串流處理、接續執行或持久保存狀態時,請參閱執行智慧體。
- 語音工作流程需要依情況將任務交給不同的專業智慧體時,請參閱協調與交接。
- 語音工作流程需要安全檢查或核准時,請參閱防護措施與人工審查。
- 需要透過 MCP 提供的功能,或想檢視語音工作流程的執行情況時,請參閱整合與可觀測性。
實作時,先選定音訊架構,再用設計文字智慧體的方式規劃其餘的工作流程。
下一步
根據你的使用情境,選擇合適的即時互動或音訊指南。
管理 Realtime 工作階段的生命週期,並使用其事件模型。
將瀏覽器與行動裝置的音訊直接連接到 Realtime 工作階段。
調整模型的推理、開場說明、工具使用、實體資訊擷取與說話方式。