如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

生产环境最佳实践

遵循最佳实践,将 AI 项目部署到生产环境。

本指南汇集了将原型部署到生产环境的最佳实践。无论您是经验丰富的机器学习工程师,还是刚入门的爱好者,都可以从中了解如何在生产环境中使用 OpenAI 平台,从安全访问 API 到设计能够承载高流量的稳健架构。您可以据此制定部署计划,让应用顺利、高效地上线。

如果您想进一步了解生产部署的最佳实践,可以观看我们在开发者日的演讲:

设置组织

登录 OpenAI 账户后,您可以在组织设置中查看组织名称和组织 ID。组织名称是用户界面上显示的名称。组织 ID 是组织的唯一标识符,可用于 API 请求。

如果您属于多个组织,可以传入请求头,指定 API 请求使用哪个组织。这些请求的用量会计入指定组织的配额。如果未提供该请求头,费用将计入默认组织。您可以在用户设置中更改默认组织。

您可以在团队页面邀请新成员加入组织。成员的角色分为读者和所有者。

读者:

  • 可以发送 API 请求。
  • 可以查看组织的基本信息。
  • 除非另有说明,否则可以创建、更新和删除组织中的资源(例如助手)。

所有者:

  • 拥有读者的全部权限。
  • 可以修改账单信息。
  • 可以管理组织成员。

管理计费限额

输入账单信息后,OpenAI 会为您的组织核定用量上限。随着平台用量增长,当您的用量等级提升时,配额上限也会自动提高。您可以在账户设置的限额页面查看当前用量上限。

在限额页面设置支出提醒后,当使用费用超过指定的美元金额时,您就会收到通知。要强制执行每月支出上限,请设置硬性支出限额。一旦已跟踪的支出达到限额,受该限额约束的 API 流量就会停止,因此请在生产环境中启用硬性限额之前查阅支出限额指南。

API 密钥

OpenAI API 使用 API 密钥进行身份验证。请前往 API 密钥页面,获取发送请求时要使用的密钥。

请让应用以项目服务账户的身份调用 API,避免依赖开发者的个人密钥。有关如何选择凭据,以及如何自动管理项目和密钥,请参阅 API 密钥和服务账户。

使用密钥控制访问比较简单,但您必须妥善保护密钥。请将 API 密钥存放在安全的位置,避免在代码或公开代码仓库中暴露密钥。通过环境变量或密钥管理服务向应用提供密钥,这样就无需将密钥硬编码到代码库中。详情请参阅 API 密钥安全最佳实践。

我们强烈建议您在创建项目 API 密钥时设置到期日期,并建立定期轮换密钥的流程。请在密钥到期前创建新密钥,更新应用以使用新密钥,确认新密钥可用后再撤销旧密钥。

管理员可以在平台设置中为组织或项目设定 API 密钥的最长有效期。新密钥必须在设定的期限内到期,不能无限期有效。项目设定的最长有效期不能超过组织上限。

在平台设置的 API 密钥治理部分,组织和项目管理员可以限制允许创建的 API 密钥类型。管理员可以只允许创建服务账户密钥,只允许创建归用户所有的项目密钥,或完全禁止创建新 API 密钥。组织级限制始终优先。项目设置可以增加限制,但不能放宽组织级限制。这些控制措施仅适用于创建新密钥,现有 API 密钥不受影响。

启用用量跟踪后,您可以在用量页面监控 API 密钥的用量。对于 2023 年 12 月 20 日之前生成的 API 密钥,默认未启用跟踪。您可以在 API 密钥管理面板启用跟踪,以记录今后的用量。2023 年 12 月 20 日之后生成的所有 API 密钥均已启用跟踪。此前未跟踪的用量会在面板中显示为 Untracked。

预发布项目

随着应用规模扩大,您可以考虑为预发布环境和生产环境分别创建项目。在控制面板中创建独立项目,可以将开发和测试工作与生产环境隔离,以免意外影响线上应用。您还可以限制用户对生产项目的访问,并为各个项目分别设置速率限制和支出限额。

扩展应用架构

为生产环境设计使用 OpenAI API 的应用或服务时,您需要考虑如何扩容以满足流量需求。无论选择哪家云服务提供商,都应考虑以下几个方面:

  • 横向扩展:如果应用需要处理来自多个来源的请求,可以通过增加服务器或容器来分担负载。选择这种方式时,请确保架构支持多个节点,并且具备在节点之间均衡分配负载的机制。
  • 纵向扩展:您也可以通过增加单个节点的可用资源来扩容,例如升级服务器以承担更高负载。选择这种方式时,请确保应用能够利用新增资源。
  • 缓存:存储经常访问的数据可以缩短响应时间,无需反复调用 API。设计应用时,应尽量复用缓存数据,并在添加新信息时使相应缓存失效。例如,您可以根据应用的需要,将数据存储在数据库、文件系统或内存缓存中。
  • 负载均衡:考虑使用负载均衡技术,将请求均匀分配到可用服务器上。例如,您可以在服务器前端部署负载均衡器,或使用 DNS 轮询。均衡分配负载有助于提升性能、减少瓶颈。

压缩请求体

要减少上传的数据量,请使用 zstd 压缩发送到 POST /v1/responses 的 JSON 请求体。设置 Content-Encoding: zstd,并保留 Content-Type: application/json。

zstd -3 -c request.json > request.json.zst

curl https://api.openai.com/v1/responses \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Content-Encoding: zstd" \
  --data-binary @request.json.zst

API 会先解压请求体,再处理请求。压缩可以减少通过网络发送的字节数,但不会改变 Token 用量或模型的上下文上限。

压缩后和解压后的请求体都不能超过 128 MiB,且解压后的大小不能超过压缩后大小的 100 倍。请求超出任一限制时,API 会返回 HTTP 413。API 会返回 HTTP 400,表示 zstd 数据无效或不完整。其他请求限制仍然适用。

压缩 WebSocket 消息

Responses API 的 WebSocket 模式支持 permessage-deflate 扩展,适用于 wss://api.openai.com/v1/responses 端点。该 WebSocket 扩展使用 DEFLATE 压缩消息,减小消息体积。请在建立连接前,在 WebSocket 客户端的压缩设置中启用该扩展。

管理速率限制

使用我们的 API 时,请了解速率限制,并据此规划请求量。

降低延迟

请参阅最新版延迟优化指南。

延迟是从发出请求到请求处理完毕并返回响应所需的时间。本节介绍影响文本生成模型延迟的因素,以及降低延迟的方法。

补全请求的延迟主要取决于两个因素:所用的模型和生成的 Token 数量。一次补全请求的生命周期如下:

网络
从终端用户到 API 的延迟
服务器
处理提示词中的 Token 所需的时间
服务器
采样生成 Token 所需的时间
网络
从 API 到终端用户的延迟

延迟通常主要来自生成 Token 的环节。

直观理解:提示词中的 Token 给补全请求增加的延迟很小。相比之下,生成补全内容中的 Token 要耗费更多时间,因为模型每次只能生成一个 Token。生成的内容越长,逐个生成 Token 所需的总时间就越长。

影响延迟的常见因素及应对方法

下面按影响大致从大到小的顺序,介绍影响延迟的各个因素。

模型

我们的 API 提供多种模型,它们的复杂程度和通用性各不相同。能力最强的模型(例如 gpt-6.2-astra)可以生成更复杂、更多样的补全内容,但处理查询所需的时间也更长。 gpt-6.1-terra 和 gpt-6-luna 等模型可以更快地生成响应,成本也更低。如果您需要模型应对更复杂的任务,gpt-6.2-astra 是更合适的默认选择。您可以根据具体用途,权衡速度、成本和质量,选择最适合的模型。

补全 Token 的数量

如果请求要求模型生成大量补全 Token,延迟可能会增加:

  • 降低 Token 数量上限:对于实际生成的 Token 数量相近的请求,max_tokens 参数值较低的请求延迟更小。
  • 添加停止序列:添加停止序列可以避免生成不必要的 Token。例如,您可以利用停止序列生成包含指定数量条目的列表。将 11. 设为停止序列,就可以生成仅含 10 项的列表,因为补全会在生成到 11. 时停止。具体用法请参阅关于停止序列的帮助文章。
  • 减少补全结果数量:尽可能降低 n 和 best_of 的值。n 表示每个提示词要生成多少个补全结果,best_of 用于从候选结果中选出每个 Token 的平均对数概率最高的结果。

如果 n 和 best_of 都为 1(默认值),生成的 Token 数量最多为 max_tokens。

如果将 n(返回的补全结果数量)或 best_of(生成的候选补全结果数量)设为 > 1,每个请求都会产生多个输出。此时,您可以按 [ max_tokens * max (n, best_of) ] 估算生成的 Token 数量。

流式传输

在请求中设置 stream: true 后,模型一生成 Token 就会开始返回,无需等到整个 Token 序列生成完毕。流式传输不会缩短接收全部 Token 所需的时间,但能缩短收到首个 Token 的时间。如果您的应用需要展示已生成的部分内容,或需要提前停止生成,这有助于改善用户体验,值得尝试。

批处理

批处理可能有所帮助,具体取决于您的使用场景。如果您要向同一端点发送多个请求,可以将多个提示词合并到一个请求中发送,从而减少请求次数。提示词参数最多可包含 20 个不同的提示词。建议您测试这种方法,看看是否适合您的应用。在某些情况下,批处理可能会增加生成的 Token 数量,导致响应变慢。

管理成本

要监控成本,您可以在账户中设置通知阈值,以便在用量超过指定阈值时收到电子邮件提醒。您可以通过用量跟踪面板监控当前及以往计费周期的 Token 用量。

文本生成

将原型投入生产时,一项挑战是为应用的运行成本制定预算。OpenAI 采用按量付费模式,以每 1,000 个 Token(约合 750 个英文单词)为单位定价。要估算成本,您需要预测 Token 用量。请考虑流量大小、用户与应用交互的频率以及需要处理的数据量。

要降低成本,可以从两个因素入手:Token 数量和每个 Token 的单价。 一种做法是将部分任务交给较小的模型,以降低 Token 单价。另一种做法是减少所需的 Token 数量。例如,您可以缩短提示词、微调模型,或缓存用户的常见查询,避免重复处理。

您可以试用我们的交互式 Token 切分工具来估算成本。API 和 Playground 也会在响应中返回 Token 数量。先使用能力最强的模型让应用正常运行,再测试其他模型能否以更低的延迟和成本取得相同的结果。详情请参阅关于 Token 用量的帮助文章。

MLOps 策略

将原型投入生产时,您可以考虑制定 MLOps 策略。MLOps(机器学习运维)指的是对机器学习模型整个生命周期的管理,其中也包括您可能使用我们的 API 微调的模型。制定 MLOps 策略时,请考虑以下方面:

  • 数据和模型管理:管理训练或微调模型所用的数据,并跟踪版本和变更。
  • 模型监控:持续跟踪模型的表现,发现潜在问题或性能下降的迹象。
  • 模型再训练:随着数据或需求变化,按需重新训练或微调模型,使其持续适应新的情况。
  • 模型部署:自动将模型及相关产物部署到生产环境。

在应用设计中充分考虑这些方面,有助于模型长期满足需求并保持良好表现。

安全与合规

将原型投入生产时,您需要评估并落实适用于应用的安全与合规要求。这包括审视您所处理的数据、了解我们的 API 如何处理数据,以及确定您必须遵守哪些法规。我们的安全实践和信任与合规门户提供了最全面、最新的相关文档。您也可以参阅我们的隐私政策和使用条款。

通常需要考虑数据的存储、传输和保留。您可能还需要采取数据隐私保护措施,例如在可行的情况下对数据进行加密或匿名化处理。此外,请遵循安全编码最佳实践,例如清理输入数据和妥善处理错误。

安全最佳实践

使用我们的 API 构建应用时,请参考安全最佳实践,以帮助应用安全、顺利地运行。这些建议强调要全面测试产品、主动处理潜在问题,并减少产品遭到滥用的机会。

业务考量

当 AI 项目从原型走向生产时,您需要考虑如何用 AI 打造出色的产品,以及产品与核心业务有何关联。对于这些问题,我们也没有全部答案。您可以先观看下面这场开发者日演讲,了解我们与几位客户如何深入探讨这些问题: