如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

弹性处理

我们正在逐步结束弹性处理的测试。在此期间,您仍可在支持该功能的模型上使用弹性处理。GPT-6.2 Astra 和 GPT-6.2 Sol 均不支持弹性处理,未来的模型也不会支持这项功能。停用日期确定后,我们会在此公布具体日期和迁移指南。

对于可以异步运行的工作负载,Responses API 的后台模式在支持的模型上提供享有折扣的完成时间窗口。与标准处理的 Token 价格相比,2 小时窗口的价格低 30%,8 小时窗口的价格低 40%。每个符合条件的请求均可享受相应折扣,包括后续请求。

弹性处理可以降低 Responses 或 Chat Completions 请求的成本,但响应时间较长,有时还会遇到资源不可用的情况。

Token 的计价标准与 Batch API 费率相同,使用提示词缓存还可享受额外折扣。

API 用法

要使用弹性处理,请在 API 请求中将 service_tier 参数设为 flex,如以下示例所示。

弹性处理示例
from openai import OpenAI

client = OpenAI(
    # increase default timeout to 15 minutes (from 10 minutes)
    timeout=900.0
)

# you can override the max timeout per request as well
response = client.with_options(timeout=900.0).responses.create(
    model="gpt-6.1-sol",
    instructions="List and describe all the metaphors used in this book.",
    input="<very long text of book here>",
    service_tier="flex",
)

print(response.output_text)

API 请求超时

弹性处理速度较慢,因此请求更容易超时。处理请求超时时,请留意以下几点。

  • 使用 OpenAI 官方 SDK 发送 API 请求时,默认超时时间为 10 分钟。如果提示词较长或任务较复杂,您可能需要延长超时时间。
  • 要配置超时时间,可以使用各 SDK 提供的参数。如上方代码示例所示,在 Python 和 TypeScript SDK 中,该参数为 timeout。
  • 自动重试:如果请求返回 408 Request Timeout 错误码,OpenAI SDK 会自动重试两次。如果重试仍然失败,SDK 会抛出异常。

资源不可用错误

弹性处理有时没有足够的资源来处理您的请求,此时会返回 429 Resource Unavailable 错误码。发生此错误时,该请求不会产生费用。

您可以考虑采用以下策略来处理资源不可用错误。

  • 如果工作负载可以容忍延迟,且您希望尽量降低成本,可以采用指数退避策略重试请求。等到有更多处理资源可用时,请求就有机会成功完成。具体实现请参阅这篇 Cookbook 指南。

  • 如果您的应用场景需要确保请求成功完成,且可以接受偶尔产生较高费用,那么在收到资源不可用错误时,可以使用标准处理重试请求。请在重试请求中将 service_tier 设为 auto,或移除 service_tier 参数以使用项目的默认模式。