變更模型或提示詞前,先量測使用者在各個步驟等了多久。
- 首個 Token 延遲(TTFT) 是指從送出 API 請求到開始收到內容的時間。使用 Responses API 串流文字時,從送出請求開始計時,直到收到第一個內容非空的
response.output_text.delta事件為止。 - 端對端延遲 是指使用者等到完整結果所需的時間。從使用者執行操作開始計時,直到畫面顯示完整結果為止,涵蓋檢索、模型與工具呼叫、重試及畫面繪製。
選取具代表性的流量,比較延遲的中位數(p50)和第 95 百分位數(p95)。依模型、服務層級和任務將相似的請求分組。記錄耗時時,一併記下輸入 Token 數、已快取的輸入 Token 數和輸出 Token 數。如果 TTFT 已經很短,使用者卻仍看到空白畫面,請量測呼叫模型前各步驟的耗時,並檢查用戶端何時顯示第一段文字。
七項原則
加快 Token 處理速度
用實際工作負載中的案例測試並選擇模型。對於客服工單分流這類範圍明確的任務,可以試用 gpt-6-luna。如果任務較為複雜,請參閱模型選擇指南,挑選另一個模型進行比較。在各種案例(包括困難案例)中都能達到品質目標的設定裡,選用速度最快的一組。
如果需要沿用同一個模型,且模型支援快速模式或極速模式,可以比較這些模式與標準處理的速度。這兩種模式的費用都較高。比較時請使用相同的提示詞和輸出長度,並記錄每次回應傳回的 service_tier。
對於較長的回答,請以每秒輸出的 Token 數量測可見文字的輸出速度。計算第一個文字事件之後收到的文字 Token 數,再除以從第一個文字事件到最後一個文字事件所經過的秒數。一個串流事件可能包含多個 Token。以每分鐘 Token 數表示的速率限制,衡量的是各個請求合計可以傳送的流量。
使用 Chat Completions 時,如果模型支援預測輸出,而且你已經知道答案的大部分內容,例如只需修改檔案中的幾行,就可以使用這項功能縮短生成時間。使用前,請確認模型和參數都與這項功能相容。
減少生成的 Token
如果模型很快就開始回答,卻遲遲無法完成,請檢視模型生成了哪些內容。
- 可見文字。 依使用者需要的詳細程度提出要求,例如「請用一句話說明下一步該怎麼做。」如果 Responses API 模型支援
text.verbosity,可以調低這個值,讓回答更簡短。 - 推理。 對於例行的資料擷取或分類任務,可以將
reasoning.effort調到模型支援的較低等級。使用相同的案例比較準確度,以及收到第一段文字所需的時間。查看usage.output_tokens_details.reasoning_tokens,即可得知模型用了多少 Token 進行推理。 - 結構化輸出。 只要求模型提供應用程式會用到的欄位。對於訊息數量等可由既有資料算出的值,請在應用程式的程式碼中計算。如果回應必須符合特定結構描述,請使用結構化輸出。
在 Responses API 中,max_output_tokens 限制的是推理 Token 與可見輸出 Token 的總數。如果上限太低,回應甚至可能在產生任何可見文字前就以 incomplete 狀態結束。請將這個上限視為 Token 預算,並在使用不完整的回答前檢查回應狀態。
減少輸入的 Token
過長的提示詞可能讓你更晚收到第一個 Token,尤其是輸入中有大量新內容時。請篩選搜尋結果,只保留相關項目,移除不需要的標記,並只傳送準確回答問題所需的上下文。
如果多次請求會用到相同的輸入內容,請將固定的指示、範例和工具定義放在最前面。在多輪對話中,保持前綴不變,將新訊息和工具結果附加在末尾。如果前綴完全相符且符合快取條件,提示詞快取就能重複使用先前處理過的前綴。在 Responses API 中,請查看 usage.input_tokens_details.cached_tokens,並比較快取命中和未命中時的 TTFT。
減少請求次數
依序呼叫模型或工具時,每多一次呼叫,就多一次等待。如果單一請求已具備多個步驟所需的全部資訊,就可以合併這些步驟。例如,模型可以將客戶的追問改寫成不需參照先前對話的搜尋查詢,並在同一次回應中判斷是否需要查詢資料。如果回答必須依據查詢結果,仍要等到取得結果才能回答。
如果智慧體需要依序執行許多耗時很短的工具呼叫,可以試用 WebSocket 模式。沿用現有連線,透過 previous_response_id 接續前一次回應,只傳送新的輸入項目和工具結果。這樣可以減少每輪對話之間的額外開銷。
平行處理
彼此獨立的工作可以同時進行。例如,取得訂單 ID 後,可以在查詢出貨狀態的同時取得退貨政策。如果回答需要這兩項資料,較慢的查詢一完成,就能開始回答。如果模型支援非同步工具呼叫,那麼在應用程式執行工具期間,模型也可以繼續處理其他不依賴該工具結果的工作。
如果某個流程分支很可能會用到,但還無法確定,可以考慮先啟動唯讀查詢,之後若不需要,再捨棄結果。請量測預判錯誤時產生的額外成本。顯示結果或執行退款等操作前,仍須等到必要的檢查完成。
縮短使用者的等待時間
透過 HTTP 提供互動式文字回覆時,請以串流方式傳送回應,將 stream: true 設定在請求中,並在收到文字時立即顯示。串流讓使用者能在回答生成完畢前開始閱讀。使用者多久能看到第一段文字,仍取決於該請求需要執行的工作,包括回答前的推理或工具操作。
如果需要先檢查或審核輸出才能顯示,請先在緩衝區累積足夠的文字,以便執行檢查。對於耗時較長的任務,請顯示實際進度,例如在查詢訂單期間顯示「正在查詢你的訂單」。如果使用者可以稍後再回來查看,背景模式可讓應用程式提交工作,並以非同步方式取得結果。
先考慮是否需要 LLM
如果答案已知,就用應用程式的程式碼處理。例如,直接顯示訂單 API 傳回的訂單狀態、在退款成功後用範本顯示確認訊息,或直接顯示搜尋結果。這些做法都可以讓使用者少等一次模型呼叫。
範例
架構與提示詞
客戶和客服助理談到一副耳機,接著問:「那現在還能退貨嗎?」客服助理依序呼叫模型三次。第一次改寫問題,補上商品名稱。第二次判斷是否需要搜尋。檢索完成後,第三次呼叫才生成回覆,並填寫訊息數量、情緒和語氣等內部欄位。客戶得等到最後一次呼叫結束,才會看到任何內容。
分析與最佳化
| 步驟 | 調整方式 | 衡量項目 |
|---|---|---|
| 問題分流 | 讓一個模型判斷是否需要搜尋,若有需要,就產生可獨立使用的查詢。這一輪的查詢是「耳機退貨政策」。如果客戶只是表示收到,就可以略過檢索。 | 兩種對話情況的分流準確度,以及從收到問題到開始檢索所需的時間。 |
| 取得判斷依據 | 分流模型判定問題與退貨有關後,如果已具備兩項查詢所需的輸入,就同時查詢退貨政策和客戶的訂單明細。 | 等到兩項查詢結果都備妥所需的時間。 |
| 回答 | 將退貨政策和訂單明細提供給模型,只要求模型生成給客戶的回覆,並以串流方式顯示文字。如果政策或訂單中缺少判斷能否退貨所需的資訊,請詢問缺少的資訊。 | 顯示第一段文字所需的時間、完成整則回覆所需的時間,以及對退貨資格的判斷是否正確。 |
在處理退貨問題的流程中,這些調整省去了原本三次循序模型呼叫中的一次,也讓兩項獨立查詢能同時進行。每次調整前後,都用同一批客服對話重新測試。測試案例應包含語意不明的追問,以及不需查詢就能回答的情況,以確認回覆加快後,系統仍能將客戶的問題導向正確的處理流程。