当业务依赖 AI 工作流时,即使提供商的服务只是短暂中断,也可能延误决策或导致业务服务中断。我们一直在与金融服务客户合作,使用 OpenAI 模型构建智能体应用和网络安全工作流。本文以支付工作流中的只读欺诈评估为例,介绍我们如何为关键工作负载设计生产环境中的请求路由和故障恢复方案。
本文所说的第一方 (1P) 指直接使用 OpenAI API,第三方 (3P) 指通过云提供商访问 OpenAI 模型,无论应用在哪里运行。我们将介绍直接访问对评估预览版模型和功能有何价值,工作负载需求和专用连接如何影响路由选择,以及哪些操作可以安全地进行故障转移。随后,我们会提供一段 Codex 提示词,帮助您在现有网关中实现这套策略,并说明启用故障转移前需要验证哪些事项。
为什么要同时使用两条路由?
即使生产工作负载通过云提供商运行,直接访问 OpenAI 仍有价值。一个重要原因是可以访问预览版模型和功能。当 OpenAI API 直接提供这些能力时,符合条件的团队可以在所选云提供商支持这些能力之前,先在自己的工作流中进行评估。
工作流的运行环境往往会影响生产路由的选择。第三方云服务可能更适合应用现有的基础设施和运维管控措施,而直接访问 OpenAI 可能更符合另一项工作流的要求。请在所选路由上验证所需的模型、功能和行为,并通过直接访问 OpenAI 持续开展实验。可用能力取决于提供商、端点、区域和您的账户。
对于关键工作负载,我们还会考虑在 1P 与 3P 之间采用经过验证的故障转移方案。提供商故障转移是指主提供商无法处理请求时,通过另一家已获批准的提供商重试。只有在请求可以安全重复执行、备用路由也符合工作流要求时,这种做法才有帮助。
例如,一家全球支付服务商可能会使用 Responses API 执行一项可独立完成的只读欺诈评估。如果调用超时,且结果尚未被使用,应用可以在交易的截止时间内,通过已验证的备用路由重试。
正在进行的 Agents API 会话需要另一种恢复方式。仅仅切换提供商,无法接续会话中的对话和已保存的工作,也无法核实先前操作的执行结果。这类恢复要复杂得多,超出了本文的讨论范围。
因此,我们把支持多家提供商视为平台能力,而是否进行故障转移,则由各个工作流决定。
计划内路由与故障转移
选择生产路由和批准故障转移是两个独立的决策。计划内路由可以将流量分配给多家提供商,也可以把超出处理能力的请求发往另一条路由。这些模式都需要单独测试容量、成本、质量和恢复能力。
我们看到一些客户将 Decisions API 作为路由决策的可选依据。为保证工作流在故障时仍能运行,请明确该服务不可用时如何路由请求。
下图以 1P 为主路由,以一条已获批准的 3P 路由为备用路由。具体哪条作为主路由,取决于工作负载。
路由器在架构中的位置
图 1. OpenAI API 为主路由,已获批准的第三方提供商为备用路由。平台运营路由器,应用定义策略。两条路由的模型、功能、容量、管控措施和可用性可能有所不同。
如果现有模型路由器或 LLM 网关能对各条路由分别执行规则,您就可以继续使用它。正常流量发往主路由。只有满足故障转移条件时,才使用经过测试的备用路由。
请明确谁可以在哪些区域使用各条路由,以及可以使用哪些模型和 API。记录已获批准的法律实体、团队、提供商账户或项目,以及数据处理规则。批准范围仅限于约定的工作负载和区域。
专用连接与路由选择
许多受监管行业的客户要求将专用连接纳入安全管控措施。对这些客户而言,选择路由时,还需要确认应用所在的云环境如何通过专用连接访问各家提供商。下图中,应用和网关位于客户的专用网络内,通过两条独立的专用路径分别连接到两家提供商。
图 2. OpenAI API(1P)为主路由,已获批准的提供商(3P)为备用路由,例如 Amazon Bedrock 或 Azure OpenAI。只有符合条件的恢复流量才使用备用路由。
截至本文发布时,1P 和 3P 提供的专用连接方式有所不同。直接访问 OpenAI(1P)时,OpenAI Private Link 使用 Azure 专用端点。对于运行在 AWS 或 Google Cloud 中的工作负载,要通过这条专用路径直接访问 OpenAI API,客户需要自行管理通往 Azure 的连接。
通过第三方访问(3P)时,Amazon Bedrock 通过 AWS PrivateLink 使用针对特定 API 的接口 VPC 端点,而 Azure OpenAI 使用 Azure 专用端点。启用故障转移前,请验证两条路由上的 DNS 解析和访问权限,并确认目标区域支持所需的模型和 API。OpenAI Private Link 不会在不同区域的端点之间自动切换,因此跨区域恢复需要单独配置和测试。故障恢复时如需切换到公网 HTTPS,也必须获得明确批准。
提供商支持的能力可能会变化。选择或启用路由前,请查阅官方文档。
哪些操作可以进行故障转移?
并非每项操作都有合适的备用路由。例如:
- 缺少所需能力: 工作流可能会直接通过 OpenAI API 使用网页搜索来核查最新信息。如果备用路由不支持这项能力,请勿在没有提示的情况下跳过搜索。请验证替代实现,或继续禁用该操作的故障转移。
- 行为未经验证: 仅凭模型名称相同或 API 兼容,还不足以启用备用路由。启用前,请在备用路由上运行工作流现有的执行框架和评估。
- 数据驻留或状态限制: 如果目标位置违反已批准的数据位置要求,或无法访问安全完成操作所需的状态,请勿切换到该位置。
如果没有符合条件的备用路由,可让任务在约定的截止时间内排队,采用已获批准的降级或人工处理方式,或安全停止。即使整个工作流不适合故障转移,其中可重试的推理步骤仍可能符合条件。
如果只读欺诈评估超时,但结果尚未被使用且剩余时间充足,就可以考虑再尝试一次。一旦输出已传给另一个系统,恢复就需要采用经过测试的重启流程。如果某项操作可能已经完成,请先确认其结果并采取措施防止重复操作,再重新启动。
何时以及如何进行故障转移
在支付示例中,如果模型繁忙或不可用,可以改用另一个已获批准的模型,这称为模型回退。通过另一家提供商重试评估,则是提供商故障转移。有时,模型和提供商都会更换。
我们首先判断切换提供商是否有帮助。共用的网关、检索服务或身份系统都可能同时影响两条路由。请测试备用路由的连通性、访问权限和容量,并确认区域恢复方案能否支持您使用的模型和托管工具,以及能否满足数据位置要求。
如果故障持续发生或响应持续缓慢,可以使用熔断器暂停向受影响的路由发送新请求。请按提供商、模型、区域和工作流设置错误和响应时间阈值。每个请求仍需单独满足故障转移条件。
重试请求前,请确认它可以安全重复执行,并且能在工作流的截止时间内完成。备用路由必须已获批准、已启用且运行正常,必须已通过针对额外负载的测试,并有剩余预算。请查阅 OpenAI 的错误代码文档和速率限制文档,也请核对其他提供商的错误处理、重试、配额和计费规则。
下表可作为制定自动故障转移策略时较为保守的起点。判断时请结合各家提供商返回的错误详情,仅看 HTTP 状态码并不充分。
| 情况 | 路由决策 |
|---|---|
| 暂时性服务故障或连接故障 | 如果提供商返回可重试错误,或发生连接重置或超时,可考虑故障转移。 |
| 持续限流或响应缓慢 | 如果继续等待会超过请求或工作流的截止时间,可考虑故障转移。请区分临时限流与需要处理的配额或计费问题。 |
| 请求无效、访问失败、请求被拒绝或可用额度耗尽 | 请勿自动切换路由。这适用于请求格式错误、401/403 错误、出于安全原因拒绝请求、配额或额度耗尽,以及达到支出上限等情况。请解决根本问题或上报处理。未分类的错误不应触发故障转移。 |
| 已产生部分输出,或工具操作结果不确定 | 请勿盲目重放请求,也不要假设部分响应可以在另一条路由上接着生成。重新启动前,请核实操作结果,并防止重复写入。 |
| 特定模型不可用或容量受限 | 尝试另一个已获批准的模型,确保它满足质量、功能和延迟要求。如果提供商共用的服务路径受到影响,请在满足上述前提时考虑进行提供商故障转移。 |
应用、SDK 和网关的重试应由同一层统一控制,避免各层重试导致尝试次数成倍增加。请共用重试预算,并遵循有效的 Retry-After 指示。如果没有有效指示,请使用带抖动的有界指数退避,逐步延长重试间隔,加入随机变化,并限制尝试次数。只重试可安全重复执行的推理调用,并同时遵守请求和工作流的截止时间。
请限制故障转移流量,以免备用路由过载。当有代表性的请求在规定时段内持续满足错误和响应时间阈值要求后,再逐步将流量切回主路由。如果超出阈值,请暂停增加主路由流量。如果两条路由都受限,请执行工作流约定的恢复策略。
使用 Codex 实现故障转移策略
现在,我们可以使用 Codex 修改现有 LLM 网关,让网关执行上述恢复规则。在支付示例中,我们只处理可独立完成的只读欺诈评估步骤。保留主路由,在备用路由获批且通过验证之前,不启用故障转移。
请在 Codex 中打开管理网关配置或应用路由的代码仓库,然后根据您的工作流和计划使用的路由调整以下提示词。
为 [workflow’s self-contained, read-only inference step] 在 [repository/gateway] 中添加默认禁用的提供商故障转移功能。保留主路由,复用现有网关、已获批准的平台路由和工作流策略。
检查网关、SDK 和适配器的版本、部署配置及 API,并查阅最新官方文档。按负责人和所需的审查流程区分应用侧和网关侧的变更。对于由其他团队负责的依赖项,提供配置和集成测试。标明不受支持的管控措施。不要猜测哪些事项已获批准,也不要臆测限制值。核实之前,继续禁用依赖这些条件的故障转移路径。
使用针对各提供商且经过测试的错误映射。只有满足以下条件,才允许因暂时性服务故障、网络故障或已确认的临时限流而进行故障转移:请求可以安全重放;备用路由已获批准、已启用且运行正常,具备所需功能和数据管控措施,容量经过验证,预算有余量,且剩余时间足以完成请求。遇到无效请求、访问失败、请求被拒绝、配额、额度或预算耗尽、未知错误或原因不明的 429 错误时,禁止故障转移。
客户端、网关和 SDK 共用一个重试控制器。禁用相互冲突的重试和故障转移链路,统一限制尝试总次数,并同时遵守请求和工作流的截止时间。在总截止时间内,对每次尝试应用已配置的超时时间。每个逻辑请求只接受一个结果,忽略先前尝试迟到的响应。遵循有效的 Retry-After 指示,否则使用带抖动的有界指数退避。若已产生部分输出,或操作结果尚不确定,切勿盲目重放请求或重复操作。不要假设状态会随提供商切换而转移。按已获批准的策略将请求排队、返回简化结果或停止处理。支持手动禁用故障转移、熔断和逐步切回主路由。
阻断外部网络连接,使用本地 HTTP 测试桩测试实际请求路径。针对以下场景,用断言检查路由调用顺序、调用次数和耗时:请求成功、故障符合转移条件、各类禁止转移的错误、未满足转移条件、已产生部分输出、操作结果不确定、预算耗尽、两条路由均失败,以及各项恢复管控措施生效的场景。禁止转移的用例中,对备用路由的调用次数必须为零。仅在测试夹具中设置模拟限制值,并保护密钥等机密信息。未经授权,不得调用实际服务或执行部署。
返回最小必要补丁、与各项要求对应的测试、测试结果、回滚步骤,以及仍需在实际环境中完成的检查。所有未经验证的故障转移路径都应保持禁用。
这段提示词要求 Codex 针对网关做一项范围明确的修改,提供测试来说明何时应调用备用路由、何时不应调用,并列出仍需在实际路由上完成的检查。请先审查补丁和本地测试结果,再验证模型行为、数据管控措施、容量以及负载下的恢复能力,之后再启用故障转移。
验证路由和恢复能力
支付示例中的检查也适用于其他关键工作负载。请按工作流的验收标准测试两条路由,覆盖质量、安全性、输出格式、工具使用和上下文限制。记录经过测试的配置、可用性和访问要求,包括处理层级和托管功能,并明确何时需要重新测试。
欺诈评估的数据限制在正常运行和故障恢复期间都适用,包括对提示词和输出的日志记录限制。在启用任一路由前,请与法务、隐私、安全和数据治理负责人共同审查凭据、网络路径、检索、工具、已存储的状态和日志。
审查时需要依据服务文档和合同,确认数据在哪里处理和存储、保留多久、如何加密,以及由谁控制密钥和访问权限。仅凭端点位置或专用连接无法确认这些事项。不同端点的管控措施、使用条件和责任划分有所不同,请参阅 OpenAI 的数据管控措施。
即使路由符合要求,也必须留有承载恢复流量的余量。提供商的整体监控面板可能无法反映欺诈评估模型受到的限流。因此,请针对每条路由,按模型、账户或项目以及区域,跟踪请求速率、Token 速率、并发请求数、限流情况、响应时间和已批准预算的剩余额度。
为确认备用路由能否承载额外负载,请将其现有工作负载与预期的欺诈评估流量及重试流量一起进行负载测试。根据结果设置故障转移流量上限,并决定哪些请求可以等待、哪些可以降级处理、哪些应停止处理。仅有足够的配额,并不能保证请求在截止时间前完成。
将评估切换到另一条路由也可能改变成本和响应时间。请比较每次成功完成评估的成本,将缓存未命中产生的成本、数据传输费和连接成本都计入其中。同时,请测量缓存未命中或跨云请求带来的额外延迟。
最后,请在有负载的情况下测试表中列出的故障场景,同时覆盖缺少所需功能、备用路由繁忙或不可用的情况。确认恢复策略按预期生效,包括限制流量、手动停止以及逐步切回主路由。
评估恢复效果时,请考察服务恢复速度、截止时间前完成的评估数量、结果质量、成本以及是否发生重复操作。定期演练可以确保在凭据到期、配置变更或容量变化后,这些检查仍能反映实际情况。
谁负责故障恢复
一种可行的分工是让路由服务和应用分别由不同团队负责。平台团队可以负责提供商集成、路由器、监控和审计日志,确保路由服务具备生产运行条件,并对路由目的地、身份、数据、流量和支出实施管控。团队还应指定值班负责人,由其禁用路由并管理切回主路由的过程。
在这种分工下,应用负责人决定哪些操作可以进行故障转移,设定服务和质量目标,并明确可以接受哪些功能降级。他们还负责业务结果、已保存的恢复上下文、工具权限、响应检查,以及防止重复操作。这些职责同样适用于共用状态或工具的情况。
您的团队可以合并这些角色,也可以采用其他分工方式。启用故障转移前,请就以下事项达成一致:谁审批管控措施,谁负责路由测试和运维手册,以及谁有权在事件发生时采取行动。
结语
即使生产工作负载通过云提供商运行,也值得考虑将直接访问 OpenAI 纳入方案。符合条件的团队可以通过这条路由评估预览版模型和功能,也可以将其作为关键工作负载的候选恢复路由。请根据工作流所需的能力、托管环境和管控要求,决定在生产环境中采用 1P 还是 3P。如果工作流要求专用连接,也应将其纳入考量。
对于关键工作负载,可以先从一个可独立完成的只读推理步骤入手。Codex 可以帮助实现该步骤的网关策略和本地测试,而在实际路由上验证后,团队才能判断备用路由是否满足工作流要求。这样,团队就有了一套具体的恢复方案,明确何时切换、何时停止,以及由谁做决定。