减少 Token 用量和请求次数可以降低成本、缩短响应时间。对于可以等待的工作负载,还可以使用 Batch API、提供折扣的后台完成时间窗口或弹性处理来降低成本。
成本与延迟
以下策略有助于降低延迟和成本。
- 减少请求次数。尽量用更少的请求完成任务。
- 尽量减少 Token 用量。减少输入 Token 的数量,并让模型生成更简短的输出。
- 选择较小的模型。选择能在保持准确性的同时降低成本和延迟的模型。
有关这些策略的详细说明,请参阅延迟优化指南。
Batch API
您可以使用 Batch API 异步处理作业。它提供了一组易于使用的端点。将多个请求汇总到一个文件中,然后启动批处理作业来执行这些请求。在请求执行期间,您可以查询批处理作业的状态。作业完成后,您可以获取汇总的结果。
后台完成时间窗口
如果 Responses API 工作流程可以等待首次响应,请选择提供折扣的完成时间窗口。为相关请求使用同一个续接 ID,使后续请求有资格获得更高的调度优先级。请参阅如何选择完成时间窗口。
弹性处理
使用弹性处理可以显著降低 Chat Completions 或 Responses 请求的成本,代价是响应时间更长,且资源偶尔会不可用。弹性处理适合非生产环境中的任务或优先级较低的任务,例如模型评估、数据充实或异步工作负载。