如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

成本优化

提高效率,降低成本。

减少 Token 用量和请求次数可以降低成本、缩短响应时间。对于可以等待的工作负载,还可以使用 Batch API、提供折扣的后台完成时间窗口或弹性处理来降低成本。

成本与延迟

以下策略有助于降低延迟和成本。

  • 减少请求次数。尽量用更少的请求完成任务。
  • 尽量减少 Token 用量。减少输入 Token 的数量,并让模型生成更简短的输出。
  • 选择较小的模型。选择能在保持准确性的同时降低成本和延迟的模型。

有关这些策略的详细说明,请参阅延迟优化指南。

Batch API

您可以使用 Batch API 异步处理作业。它提供了一组易于使用的端点。将多个请求汇总到一个文件中,然后启动批处理作业来执行这些请求。在请求执行期间,您可以查询批处理作业的状态。作业完成后,您可以获取汇总的结果。

开始使用 Batch API →

后台完成时间窗口

如果 Responses API 工作流程可以等待首次响应,请选择提供折扣的完成时间窗口。为相关请求使用同一个续接 ID,使后续请求有资格获得更高的调度优先级。请参阅如何选择完成时间窗口。

弹性处理

使用弹性处理可以显著降低 Chat Completions 或 Responses 请求的成本,代价是响应时间更长,且资源偶尔会不可用。弹性处理适合非生产环境中的任务或优先级较低的任务,例如模型评估、数据充实或异步工作负载。

开始使用弹性处理 →