如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

延遲最佳化

量測使用者在各步驟的等待時間,縮短請求中最耗時的步驟。

變更模型或提示詞前,先量測使用者在各個步驟等了多久。

  • 首個 Token 延遲(TTFT) 是指從送出 API 請求到開始收到內容的時間。使用 Responses API 串流文字時,從送出請求開始計時,直到收到第一個內容非空的 response.output_text.delta 事件為止。
  • 端對端延遲 是指使用者等到完整結果所需的時間。從使用者執行操作開始計時,直到畫面顯示完整結果為止,涵蓋檢索、模型與工具呼叫、重試及畫面繪製。

選取具代表性的流量,比較延遲的中位數(p50)和第 95 百分位數(p95)。依模型、服務層級和任務將相似的請求分組。記錄耗時時,一併記下輸入 Token 數、已快取的輸入 Token 數和輸出 Token 數。如果 TTFT 已經很短,使用者卻仍看到空白畫面,請量測呼叫模型前各步驟的耗時,並檢查用戶端何時顯示第一段文字。

七項原則

  1. 加快 Token 處理速度。
  2. 減少生成的 Token。
  3. 減少輸入的 Token。
  4. 減少請求次數。
  5. 平行處理。
  6. 縮短使用者的等待時間。
  7. 先考慮是否需要 LLM。

加快 Token 處理速度

用實際工作負載中的案例測試並選擇模型。對於客服工單分流這類範圍明確的任務,可以試用 gpt-6-luna。如果任務較為複雜,請參閱模型選擇指南,挑選另一個模型進行比較。在各種案例(包括困難案例)中都能達到品質目標的設定裡,選用速度最快的一組。

如果需要沿用同一個模型,且模型支援快速模式或極速模式,可以比較這些模式與標準處理的速度。這兩種模式的費用都較高。比較時請使用相同的提示詞和輸出長度,並記錄每次回應傳回的 service_tier。

對於較長的回答,請以每秒輸出的 Token 數量測可見文字的輸出速度。計算第一個文字事件之後收到的文字 Token 數,再除以從第一個文字事件到最後一個文字事件所經過的秒數。一個串流事件可能包含多個 Token。以每分鐘 Token 數表示的速率限制,衡量的是各個請求合計可以傳送的流量。

使用 Chat Completions 時,如果模型支援預測輸出,而且你已經知道答案的大部分內容,例如只需修改檔案中的幾行,就可以使用這項功能縮短生成時間。使用前,請確認模型和參數都與這項功能相容。

減少生成的 Token

如果模型很快就開始回答,卻遲遲無法完成,請檢視模型生成了哪些內容。

  • 可見文字。 依使用者需要的詳細程度提出要求,例如「請用一句話說明下一步該怎麼做。」如果 Responses API 模型支援 text.verbosity,可以調低這個值,讓回答更簡短。
  • 推理。 對於例行的資料擷取或分類任務,可以將 reasoning.effort 調到模型支援的較低等級。使用相同的案例比較準確度,以及收到第一段文字所需的時間。查看 usage.output_tokens_details.reasoning_tokens,即可得知模型用了多少 Token 進行推理。
  • 結構化輸出。 只要求模型提供應用程式會用到的欄位。對於訊息數量等可由既有資料算出的值,請在應用程式的程式碼中計算。如果回應必須符合特定結構描述,請使用結構化輸出。

在 Responses API 中,max_output_tokens 限制的是推理 Token 與可見輸出 Token 的總數。如果上限太低,回應甚至可能在產生任何可見文字前就以 incomplete 狀態結束。請將這個上限視為 Token 預算,並在使用不完整的回答前檢查回應狀態。

減少輸入的 Token

過長的提示詞可能讓你更晚收到第一個 Token,尤其是輸入中有大量新內容時。請篩選搜尋結果,只保留相關項目,移除不需要的標記,並只傳送準確回答問題所需的上下文。

如果多次請求會用到相同的輸入內容,請將固定的指示、範例和工具定義放在最前面。在多輪對話中,保持前綴不變,將新訊息和工具結果附加在末尾。如果前綴完全相符且符合快取條件,提示詞快取就能重複使用先前處理過的前綴。在 Responses API 中,請查看 usage.input_tokens_details.cached_tokens,並比較快取命中和未命中時的 TTFT。

減少請求次數

依序呼叫模型或工具時,每多一次呼叫,就多一次等待。如果單一請求已具備多個步驟所需的全部資訊,就可以合併這些步驟。例如,模型可以將客戶的追問改寫成不需參照先前對話的搜尋查詢,並在同一次回應中判斷是否需要查詢資料。如果回答必須依據查詢結果,仍要等到取得結果才能回答。

如果智慧體需要依序執行許多耗時很短的工具呼叫,可以試用 WebSocket 模式。沿用現有連線,透過 previous_response_id 接續前一次回應,只傳送新的輸入項目和工具結果。這樣可以減少每輪對話之間的額外開銷。

平行處理

彼此獨立的工作可以同時進行。例如,取得訂單 ID 後,可以在查詢出貨狀態的同時取得退貨政策。如果回答需要這兩項資料,較慢的查詢一完成,就能開始回答。如果模型支援非同步工具呼叫,那麼在應用程式執行工具期間,模型也可以繼續處理其他不依賴該工具結果的工作。

如果某個流程分支很可能會用到,但還無法確定,可以考慮先啟動唯讀查詢,之後若不需要,再捨棄結果。請量測預判錯誤時產生的額外成本。顯示結果或執行退款等操作前,仍須等到必要的檢查完成。

縮短使用者的等待時間

透過 HTTP 提供互動式文字回覆時,請以串流方式傳送回應,將 stream: true 設定在請求中,並在收到文字時立即顯示。串流讓使用者能在回答生成完畢前開始閱讀。使用者多久能看到第一段文字,仍取決於該請求需要執行的工作,包括回答前的推理或工具操作。

如果需要先檢查或審核輸出才能顯示,請先在緩衝區累積足夠的文字,以便執行檢查。對於耗時較長的任務,請顯示實際進度,例如在查詢訂單期間顯示「正在查詢你的訂單」。如果使用者可以稍後再回來查看,背景模式可讓應用程式提交工作,並以非同步方式取得結果。

先考慮是否需要 LLM

如果答案已知,就用應用程式的程式碼處理。例如,直接顯示訂單 API 傳回的訂單狀態、在退款成功後用範本顯示確認訊息,或直接顯示搜尋結果。這些做法都可以讓使用者少等一次模型呼叫。

範例

架構與提示詞

客戶和客服助理談到一副耳機,接著問:「那現在還能退貨嗎?」客服助理依序呼叫模型三次。第一次改寫問題,補上商品名稱。第二次判斷是否需要搜尋。檢索完成後,第三次呼叫才生成回覆,並填寫訊息數量、情緒和語氣等內部欄位。客戶得等到最後一次呼叫結束,才會看到任何內容。

分析與最佳化

步驟 調整方式 衡量項目
問題分流 讓一個模型判斷是否需要搜尋,若有需要,就產生可獨立使用的查詢。這一輪的查詢是「耳機退貨政策」。如果客戶只是表示收到,就可以略過檢索。 兩種對話情況的分流準確度,以及從收到問題到開始檢索所需的時間。
取得判斷依據 分流模型判定問題與退貨有關後,如果已具備兩項查詢所需的輸入,就同時查詢退貨政策和客戶的訂單明細。 等到兩項查詢結果都備妥所需的時間。
回答 將退貨政策和訂單明細提供給模型,只要求模型生成給客戶的回覆,並以串流方式顯示文字。如果政策或訂單中缺少判斷能否退貨所需的資訊,請詢問缺少的資訊。 顯示第一段文字所需的時間、完成整則回覆所需的時間,以及對退貨資格的判斷是否正確。

在處理退貨問題的流程中,這些調整省去了原本三次循序模型呼叫中的一次,也讓兩項獨立查詢能同時進行。每次調整前後,都用同一批客服對話重新測試。測試案例應包含語意不明的追問,以及不需查詢就能回答的情況,以確認回覆加快後,系統仍能將客戶的問題導向正確的處理流程。