如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題
Oct 14, 2026 API

如何設計 OpenAI 模型供應商之間的容錯移轉機制

為什麼直接存取 OpenAI 對評估預覽功能及執行關鍵工作負載很重要。

作者: Oliver Steffmann, Vik Bomma

如何設計 OpenAI 模型供應商之間的容錯移轉機制

當企業仰賴 AI 工作流程時,即使供應商的服務只中斷片刻,也可能延誤決策或打斷服務。我們一直與金融服務業客戶合作,運用 OpenAI 模型建構智慧體應用程式及資安工作流程。本文以付款流程中的唯讀詐欺評估為例,說明我們如何為關鍵工作負載規劃正式環境的路由與復原機制。

本文所稱的第一方 (1P) 是指直接存取 OpenAI API。第三方 (3P) 是指透過雲端供應商存取 OpenAI 模型,與應用程式在哪裡執行無關。我們會說明直接存取對評估預覽版模型與功能有何價值、工作負載需求與私人連線如何影響路由選擇,以及哪些作業可以安全地進行容錯移轉。接著,我們會提供一段 Codex 提示詞,協助你在現有閘道實作這套政策,並說明啟用容錯移轉前需要驗證哪些項目。

為什麼要使用兩條路由?

即使正式環境透過雲端供應商執行,直接存取 OpenAI 仍有其價值。一個主要原因是能試用預覽版模型與功能:只要 OpenAI API 已提供這些能力,符合資格的團隊就能先在自己的工作流程中評估,無須等到所選的雲端供應商支援。

工作流程在哪裡執行,往往會影響正式環境的路由選擇。第三方雲端服務可能更符合某個應用程式既有的基礎架構與營運管控措施,另一個工作流程的需求則可能更適合直接存取 OpenAI。請在所選路由上驗證所需的模型、功能與行為,並透過直接存取 OpenAI 持續進行實驗。實際可用的項目取決於供應商、端點、區域及你的帳戶。

對於關鍵工作負載,我們也會考慮在 1P 與 3P 之間採用經過驗證的容錯移轉機制。供應商容錯移轉是指主要供應商無法處理請求時,改由另一家已核准的供應商重試。只有在請求可以安全重送,且替代路由符合工作流程需求時,這種做法才有幫助。

舉例來說,全球支付服務供應商可以使用 Responses API 執行一項可獨立完成的唯讀詐欺評估。如果呼叫逾時且結果尚未使用,應用程式可以在交易期限內,透過已驗證的備援路由重試。

進行中的 Agents API 工作階段則需要不同的復原方式。單憑切換供應商,無法接續對話與已儲存的工作,也無法核對先前動作的結果。這類復原作業困難得多,超出本文範圍。

基於這項差異,我們由平台提供多供應商支援,再由各工作流程決定是否進行容錯移轉。

預先規劃的路由與容錯移轉

選擇正式環境的路由與核准容錯移轉,是兩項獨立的決策。預先規劃路由時,可以將流量分配給不同供應商,或將超出容量的請求送往另一條路由。這些模式都需要分別測試容量、成本、品質與復原能力。

我們觀察到,有些客戶會在路由決策中選擇性地參考 Decisions API 提供的資訊。為了讓工作流程在服務中斷時仍能運作,請先定義該服務無法使用時的路由行為。

下圖以 1P 為主要路由,以已核准的 3P 路由為備援。實際上,兩者都可以作為主要路由,視工作負載而定。

路由器在架構中的位置

圖 1. OpenAI API 為主要路由,已核准的第三方供應商為備援。平台維運路由器,應用程式定義政策。各路由的模型、功能、容量、管控措施與可用性可能不同。

只要現有的模型路由器或 LLM 閘道能對各條路由分別執行規則,就可以沿用。將一般流量送往主要路由,只有在符合容錯移轉條件時,才使用經過測試的備援路由。

針對每條路由,明確定義誰可以使用、可在哪些區域使用,以及可使用哪些模型與 API。記錄已核准的法人實體、團隊、供應商帳戶或專案,以及資料處理規則。核准範圍僅限於議定的工作負載與區域。

私人連線與路由選擇

許多受監管產業的客戶將私人連線列為必要的安全管控措施。這些客戶在選擇路由時,也必須確認應用程式所在的雲端環境如何透過私人連線連到各家供應商。下圖中的應用程式與閘道位於客戶的私人網路內,並透過各自獨立的私人路徑連到不同供應商。

圖 2. OpenAI API(1P)為主要路由,已核准的供應商(3P)為備援,例如 Amazon Bedrock 或 Azure OpenAI。只有符合條件的復原流量會使用備援路由。

截至本文發布時,1P 與 3P 提供的私人連線選項有所不同。直接存取 OpenAI(1P)時,OpenAI Private Link 使用 Azure 私人端點。若要透過這條私人路徑直接存取 OpenAI API,在 AWS 或 Google Cloud 上執行的工作負載需要由客戶自行管理通往 Azure 的連線。

透過第三方存取(3P)時,Amazon Bedrock 透過 AWS PrivateLink 使用各 API 專用的介面 VPC 端點,而 Azure OpenAI 使用 Azure 私人端點。啟用容錯移轉前,請驗證兩條路由的 DNS 與存取權限,並確認各區域支援所需的模型與 API。OpenAI Private Link 不會自動切換區域端點,因此跨區域復原需要另行設定與測試。復原時若要改用公用網路上的 HTTPS,也必須取得明確核准。

供應商支援的項目可能變動。選擇或啟用路由前,請查閱官方文件。

哪些作業可以進行容錯移轉?

並非每項作業都有合適的備援路由。例如:

  • 缺少必要功能: 工作流程可能透過 OpenAI API 直接使用網頁搜尋來查證最新資訊。如果備援路由不支援這項功能,請勿在未告知的情況下略過搜尋。請驗證替代實作方式,或讓該項作業的容錯移轉維持停用。
  • 行為尚未驗證: 即使模型名稱相同或 API 相容,也不足以確認行為符合需求。啟用備援路由前,請在該路由上執行工作流程現有的任務執行框架與評估。
  • 資料駐留或狀態限制: 如果目的地不符合已核准的資料位置要求,或無法存取安全完成作業所需的狀態,請勿切換至該目的地。

如果沒有符合條件的備援路由,可以讓工作在議定的期限內排隊等候、改用已核准的縮減功能或人工處理流程,或安全停止。即使整個工作流程不符合容錯移轉條件,其中可重試的推論步驟仍可能符合。

如果唯讀詐欺評估逾時,但結果尚未使用且剩餘時間充足,就可能符合重試條件。一旦輸出已送達其他系統,復原時就需要採用經過測試的重新啟動流程。如果某個動作可能已完成,重新啟動前應先確認執行結果,並防止動作重複執行。

何時及如何進行容錯移轉

在付款範例中,如果某個模型忙碌或無法使用,可以改用另一個已核准的模型,這稱為模型回退。如果改由另一家供應商重試評估,則稱為供應商容錯移轉。有時模型與供應商都會更換。

我們會先判斷切換供應商是否有幫助。共用的閘道、檢索服務或身分識別系統都可能同時影響兩條路由。請測試備援路由的連線、存取權限與容量,並確認區域復原機制是否支援所需的模型與託管工具,以及是否符合資料位置要求。

如果持續發生錯誤或回應緩慢,可以使用斷路器暫停將新請求送往受影響的路由。請依供應商、模型、區域與工作流程設定錯誤及回應時間門檻。每個請求仍須個別符合容錯移轉條件。

重試請求前,請確認請求可以安全重送,並能在工作流程的期限內完成。備援路由必須已核准、已啟用且運作正常,並已通過額外負載測試,預算也須有餘裕。請參閱 OpenAI 的錯誤碼文件與速率限制文件,也請查閱其他供應商的錯誤處理、重試、配額與計費規則。

下表列出制定自動容錯移轉規則時可採用的保守做法。判斷時應查看各供應商提供的錯誤詳細資訊,不能只看 HTTP 狀態碼。

狀況 路由決策
服務或連線暫時故障 可考慮容錯移轉,適用於可重試的供應商錯誤、連線重設或逾時。
持續受到限流或回應緩慢 可考慮容錯移轉,前提是繼續等候會超過請求或工作流程的期限。請區分暫時限流與需要處理的配額或計費問題。
請求無效、存取失敗、遭拒或額度用盡 請勿自動切換路由。這項規則適用於請求格式錯誤、401/403 錯誤、基於安全考量而拒絕回應、配額或點數用盡,以及達到支出上限的情況。請處理造成錯誤的問題,或提報相關負責人處理。尚未分類的錯誤不應觸發容錯移轉。
只有部分輸出,或工具動作的結果不明 請勿貿然重送請求,也不要假設另一條路由可以接續未完成的回應。重新啟動前,請核對動作結果並防止重複寫入。
特定模型無法使用或容量受限 嘗試其他已核准的模型,並確認其符合品質、功能與延遲要求。如果供應商提供服務的共用路徑受到影響,可在符合上述前提時考慮進行供應商容錯移轉。

應由單一層級統一控制應用程式、SDK 與閘道的重試,避免各層分別重試導致請求倍增。請共用重試額度,並遵循有效的 Retry-After 指示。若沒有有效指示,請採用帶隨機抖動且設有上限的指數退避:逐次延長等候時間、加入隨機變化,並限制嘗試次數。只重試可安全重送的推論呼叫,且不得超過請求與工作流程各自的期限。

請限制容錯移轉流量,以免備援路由超載。等到具代表性的請求在指定期間內持續符合錯誤與回應時間門檻,再逐步將流量切回主要路由。如果超過門檻,就暫停增加流量。如果兩條路由都受限,請依工作流程議定的復原政策處理。

使用 Codex 實作容錯移轉政策

現在可以使用 Codex,依據上述復原規則修改現有的 LLM 閘道。在付款範例中,我們將修改範圍限於可獨立完成的唯讀詐欺評估步驟。保留既有的主要路由,並在備援路由獲得核准且通過驗證前,維持停用容錯移轉。

請在 Codex 中開啟管理閘道設定或應用程式路由的程式碼庫,再依你的工作流程與預計使用的路由調整下列提示詞。

針對 [workflow’s self-contained, read-only inference step],在 [repository/gateway] 中加入預設停用的供應商容錯移轉機制。保留主要路由,並沿用現有閘道、已核准的平台路由及工作流程政策。

檢查閘道、SDK 與介面卡的版本,以及部署設定、API 和最新的官方文件。依負責人與所需的審查程序,分開處理應用程式和閘道的變更。針對由其他團隊負責的相依項目,提供設定與整合測試。標示不支援的管控措施。不要自行推定核准範圍或限制值。在這些事項確認前,依賴它們的容錯移轉路徑一律維持停用。

使用各供應商專用且經過測試的錯誤對照規則。只有在請求可以安全重送,且備援路由已核准、已啟用、運作正常、具備所需功能與資料管控措施、已通過容量測試、尚有預算且有足夠時間完成請求時,才允許因暫時性服務或網路故障,或已確認的暫時限流而進行容錯移轉。遇到無效請求、存取失敗、拒絕回應、配額或點數用盡、預算用罄、未知錯誤或原因不明的 429 錯誤時,一律阻止容錯移轉。

由單一重試控制器統一管理用戶端、閘道與 SDK 的重試。停用互相衝突的重試或容錯移轉程序,對所有層級的嘗試總次數設定單一上限,並同時遵守請求與工作流程的期限。在整體期限內,對每次嘗試套用已設定的逾時值。每個邏輯請求只接受一個結果,忽略先前嘗試延遲送達的回應。遵循有效的 Retry-After 指示,否則採用帶隨機抖動且設有上限的指數退避。若已收到部分輸出或動作結果不明,絕不可貿然重送請求或重複執行動作,也不可假設狀態會隨請求移轉至另一家供應商。依已核准的政策將請求排入佇列、傳回精簡結果或停止處理。提供手動停用、斷路保護及逐步切回主要路由的機制。

封鎖對外網路連線,使用本機 HTTP 測試替身測試實際的請求路徑。針對下列情境,使用斷言檢查路由順序、呼叫次數與經過時間:請求成功、發生符合移轉條件的故障、出現各類應阻止移轉的錯誤、未通過移轉資格檢查、僅收到部分輸出、動作結果不明、預算或重試額度用盡、兩條路由皆失敗,以及啟動各項復原管控措施。對於應阻止移轉的情況,備援路由的呼叫次數必須為零。僅在測試用的固定資料中設定模擬限制值,並保護機密資訊。未經授權,不得呼叫實際服務或進行部署。

請提供達成需求所需的最小修補、與各項需求對應的測試、測試結果、還原步驟,以及仍須在實際環境執行的檢查。所有尚未驗證的容錯移轉路徑都須維持停用。

這段提示詞要求 Codex 針對閘道做小範圍修改,以測試說明哪些情況應呼叫備援路由、哪些情況應阻止呼叫,並列出仍須在實際路由上完成的檢查。請先審查修補內容與本機測試結果,再於負載下驗證模型行為、資料管控措施、容量與復原能力,然後才啟用容錯移轉。

驗證路由與復原機制

付款範例中的檢查也適用於其他關鍵工作負載。請依工作流程的驗收條件,在兩條路由上測試品質、安全性、輸出格式、工具使用方式與上下文限制。記錄測試時的設定、可用性與存取要求,涵蓋處理層級與託管功能,並明訂何時需要重新測試。

評估作業的資料限制在正常運作與復原期間都適用,包括對提示詞與輸出記錄的限制。啟用任一條路由前,請與法務、隱私、資安及資料治理負責人共同審查憑證、網路路徑、檢索機制、工具、已儲存的狀態與記錄檔。

審查時須依據服務文件與合約,確認資料的處理與儲存地點、保留期間、加密方式,以及由誰掌控金鑰與存取權限。單憑端點位置或私人連線不足以確認這些事項。各端點的管控措施、適用資格與責任分工有所不同,請參閱 OpenAI 的資料管控措施。

即使路由符合需求,仍須預留容量來承接復原流量。只看供應商整體的監控儀表板,可能看不出詐欺評估所用的模型正受到限流。請針對每條路由,依模型、帳戶或專案及區域,追蹤請求速率、Token 速率、並行請求數、限流情況、回應時間與剩餘的已核准預算。

若要確認備援路由能否承受負載,請將其既有工作量與預估的詐欺評估流量及重試流量一併納入負載測試。根據結果設定容錯移轉流量上限,並決定哪些請求可以等候、改用縮減功能或停止處理。即使配額足夠,也不保證能在期限內完成。

改由另一條路由執行評估,也可能改變成本與回應時間。請比較每次成功完成評估的成本,將快取未命中、資料傳輸費用與連線成本納入計算。也請衡量快取未命中或請求跨越不同雲端環境所增加的延遲。

最後,請在有負載的情況下測試表中列出的故障情境,以及缺少功能、備援路由忙碌或無法使用等情況。確認復原政策能按預期運作,包括限制流量、手動停止,以及逐步切回主要路由。

評估復原成效時,請檢視服務恢復所需時間、在期限內完成的評估數量、結果品質、成本,以及是否有動作重複執行。定期演練有助於在憑證到期、設定變更或容量變動時,確保這些檢查仍能反映實際狀況。

誰負責復原?

一種可行的分工方式,是由不同團隊分別負責路由服務與應用程式。平台團隊可以負責供應商整合、路由器、監控與稽核記錄,確保路由服務能在正式環境運作,並落實目的地、身分、資料、流量與支出的管控措施。團隊也應指定值班負責人,負責停用路由及管理切回主要路由的過程。

在這種分工下,應用程式負責人決定哪些作業可以進行容錯移轉、服務與品質須達到哪些目標,以及可接受哪些功能縮減。他們也對業務結果負責,並負責儲存復原所需的上下文、管理工具權限、檢查回應及防止動作重複執行。在共用狀態或工具時,這些責任同樣適用。

你的團隊可以合併這些角色,也可以採用其他分工方式。啟用容錯移轉前,請議定由誰核准管控措施、誰負責路由測試與操作手冊,以及誰有權在事件發生時採取行動。

結語

即使正式環境透過雲端供應商執行,也值得將直接存取 OpenAI 納入考量。符合資格的團隊可以藉此評估預覽版模型與功能,關鍵工作負載也多了一條可能的復原路由。正式環境應選用 1P 或 3P,取決於工作流程所需的功能、託管環境與管控措施,其中也包括必要的私人連線。

對於關鍵工作負載,可以先從一個可獨立完成的唯讀推論步驟著手。Codex 能協助實作這個步驟的閘道政策與本機測試,再透過實際路由上的驗證,確認備援路由是否符合工作流程需求。如此一來,團隊就有具體的復原計畫,清楚知道何時切換、何時停止,以及由誰決定。