使用 OpenAI 模型時,有幾種方法可以降低成本。成本與延遲通常密切相關。減少 Token 用量與請求次數,通常也能加快處理速度。你也可以使用 OpenAI 的 Batch API 或彈性處理來降低成本。
成本與延遲
若要縮短延遲並降低成本,可以採用以下策略:
- 減少請求次數:盡量以較少的請求完成任務。
- 減少 Token 用量:減少輸入的 Token 數量,並讓模型產生較短的輸出。
- 選用較小的模型:選擇能維持準確度,同時降低成本並縮短延遲的模型。
如需進一步瞭解這些策略,請參閱延遲最佳化指南。
Batch API
使用 Batch API 可以非同步執行作業。它提供一組易於使用的端點,讓你將多個請求彙整成單一檔案,再啟動批次處理作業來執行這些請求。你可以在請求執行期間查詢批次作業的狀態,並在作業完成後一次取得所有結果。
彈性處理
對 Chat Completions 或 Responses 請求使用彈性處理,可以大幅降低成本,但回應時間會較長,偶爾也會遇到資源無法使用的情況。彈性處理很適合非正式環境中的任務或優先順序較低的任務,例如模型評估、資料擴充或非同步工作負載。