如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

彈性處理

使用彈性處理降低成本。

使用彈性處理可降低 Responses 或 Chat Completions 請求的成本,但回應時間較長,偶爾也會遇到資源不足的情況。彈性處理很適合在非正式環境中執行的任務或優先順序較低的任務,例如模型評估、資料擴充和非同步工作負載。

Token 的計價方式採用 Batch API 費率,使用提示詞快取還可享有額外折扣。

彈性處理目前處於 Beta 階段,僅支援部分模型。支援的模型列於定價頁面。

API 使用方式

若要使用彈性處理,請在 API 請求中將 service_tier 參數設為 flex。

彈性處理範例
from openai import OpenAI

client = OpenAI(
    # increase default timeout to 15 minutes (from 10 minutes)
    timeout=900.0
)

# you can override the max timeout per request as well
response = client.with_options(timeout=900.0).responses.create(
    model="gpt-6-astra",
    instructions="List and describe all the metaphors used in this book.",
    input="<very long text of book here>",
    service_tier="flex",
)

print(response.output_text)

API 請求逾時

彈性處理的速度較慢,因此請求較容易逾時。處理請求逾時時,請留意以下幾點:

  • 預設逾時時間:使用 OpenAI 官方 SDK 發出 API 請求時,預設逾時時間為 10 分鐘。如果提示詞較長或任務較複雜,可能需要延長逾時時間。
  • 設定逾時時間:各 SDK 都提供可延長逾時時間的參數。如上方程式碼範例所示,Python 和 TypeScript SDK 使用的參數是 timeout。
  • 自動重試:如果請求傳回 408 Request Timeout 錯誤碼,OpenAI SDK 會自動重試兩次。如果仍然失敗,SDK 就會擲出例外狀況。

資源無法使用錯誤

彈性處理有時沒有足夠的資源處理請求,此時會傳回 429 Resource Unavailable 錯誤碼。發生此錯誤時,您無須為該次請求付費。

遇到資源無法使用錯誤時,可以考慮以下做法:

  • 採用指數退避策略重試請求:如果工作負載容許延遲,而且您希望盡量降低成本,就適合採用指數退避策略。等到有更多資源可用時,請求就有機會順利完成。實作方式請參閱這篇 Cookbook 指南。

  • 改用標準處理重試請求:如果您的使用情境需要確保請求順利完成,也能接受偶爾支付較高的費用,可以在遇到資源無法使用錯誤時改用標準處理重試。重試時,請將請求中的 service_tier 設為 auto,或移除 service_tier 參數以使用專案的預設模式。