如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

正式環境最佳實務

運用最佳實務,將 AI 專案部署至正式環境。

本指南整理了將原型部署至正式環境時,各個環節的最佳實務。無論你是經驗豐富的機器學習工程師,還是剛接觸機器學習的開發者,都能在這裡找到在正式環境中使用 OpenAI 平台所需的方法,包括如何確保 API 存取安全,以及如何設計能承受高流量的穩健架構。你可以依照本指南擬定部署計畫,讓應用程式順利上線。

想進一步瞭解正式上線的最佳實務,可以觀看我們在開發者日的演講:

設定組織

登入 OpenAI 帳戶後,你可以在組織設定中找到組織名稱和組織 ID。組織名稱會顯示在使用者介面中。組織 ID 是組織的唯一識別碼,可用於 API 請求。

如果你隸屬於多個組織,可以傳送標頭來指定 API 請求使用哪個組織。這些請求的用量會計入指定組織的配額。如果未提供標頭,費用會計入預設組織。你可以在使用者設定中變更預設組織。

你可以在團隊頁面邀請新成員加入組織。成員的角色分為讀者和擁有者。

讀者:

  • 可以發送 API 請求。
  • 可以查看組織的基本資訊。
  • 除非另有說明,否則可以建立、更新及刪除組織內的資源,例如助理。

擁有者:

  • 具備讀者的所有權限。
  • 可以修改帳務資訊。
  • 可以管理組織成員。

管理帳務限額

輸入帳務資訊後,OpenAI 會為你的組織核定用量上限。隨著你在平台上的用量增加,當你升至下一個用量級別時,配額上限會自動提高。你可以在帳戶設定的限額頁面查看目前的用量上限。

在限額頁面設定支出提醒,即可在使用費用超過指定金額時收到通知。若要強制限制每月支出,請設定強制支出上限。一旦追蹤到的支出達到上限,受此上限約束的 API 流量就會停止。因此,在正式環境啟用這項設定前,請先閱讀支出上限指南。

API 金鑰

OpenAI API 使用 API 金鑰進行身分驗證。請前往 API 金鑰頁面,取得發送請求時要使用的 API 金鑰。

請讓應用程式以專案服務帳戶的身分發送請求,避免依賴個別開發者的金鑰。如需瞭解如何選擇認證資料,以及如何自動化管理專案與金鑰,請參閱 API 金鑰與服務帳戶。

使用金鑰控制存取權相當直接,但你必須妥善保護金鑰。請將 API 金鑰存放在安全的位置,避免在程式碼或公開程式碼庫中洩露金鑰。透過環境變數或機密管理服務將金鑰提供給應用程式,就不必將金鑰寫死在程式碼中。詳情請參閱 API 金鑰安全最佳實務。

我們強烈建議你在建立專案 API 金鑰時設定到期日,並建立定期輪替金鑰的流程。在金鑰到期前,先建立新金鑰並更新應用程式,讓應用程式改用新金鑰。確認新金鑰可正常運作後,再撤銷舊金鑰。

管理員可以在平台設定中,為組織或專案設定 API 金鑰的最長有效期限。新金鑰的到期日必須在設定的期限內,因此不會永久有效。專案設定的有效期限不得超過組織上限。

組織和專案管理員可以在平台設定的 API 金鑰治理區段中,限制可建立的 API 金鑰類型。管理員可以只允許建立服務帳戶金鑰、只允許建立使用者擁有的專案金鑰,或全面禁止建立新的 API 金鑰。組織層級的限制一律優先適用。專案可以增設限制,但不能放寬組織層級的限制。這些設定僅適用於建立新金鑰,現有的 API 金鑰不受影響。

啟用追蹤後,你可以在用量頁面監控 API 金鑰的用量。如果你使用的是 2023 年 12 月 20 日之前產生的 API 金鑰,預設不會啟用追蹤。你可以在 API 金鑰管理儀表板啟用追蹤,以記錄後續用量。2023 年 12 月 20 日之後產生的所有 API 金鑰均已啟用追蹤。先前未追蹤的用量會在儀表板中顯示為 Untracked。

預備環境專案

隨著應用程式規模擴大,你可以考慮為預備環境和正式環境分別建立專案。在儀表板中建立這些專案後,就能將開發與測試工作和正式環境隔離,避免意外影響已上線的應用程式。你也可以限制哪些使用者能存取正式環境專案,並為各專案分別設定速率限制和支出上限。

擴充系統架構

為正式環境設計使用 OpenAI API 的應用程式或服務時,請先考量如何擴充系統以因應流量需求。無論選擇哪家雲端服務供應商,都應考量以下幾個面向:

  • 水平擴充:如果應用程式需要處理來自多個來源的請求,可以考慮水平擴充,例如部署更多伺服器或容器來分攤負載。採用這種方式時,請確認架構支援多個節點,並設有在節點之間平衡負載的機制。
  • 垂直擴充:另一種方式是增加單一節點可用的資源,藉由升級伺服器來承受額外負載。採用這種方式時,請確認應用程式的設計能充分運用新增的資源。
  • 快取:將經常存取的資料存入快取,可以減少重複呼叫 API 的次數,縮短回應時間。設計應用程式時,請讓它盡可能使用快取資料,並在有新資訊加入時將相關快取標記為失效。你可以依應用程式的需求,選擇將資料存放在資料庫、檔案系統或記憶體快取中。
  • 負載平衡:最後,請考慮使用負載平衡技術,將請求平均分配到可用的伺服器。你可以在伺服器前端設置負載平衡器,或採用 DNS 輪詢。平衡負載有助於提升效能並減少瓶頸。

壓縮請求本文

呼叫 API 時,可以使用 zstd 壓縮傳送至 POST /v1/responses 的 JSON 請求本文,以減少上傳的資料量。請設定 Content-Encoding: zstd,並保留 Content-Type: application/json。

zstd -3 -c request.json > request.json.zst

curl https://api.openai.com/v1/responses \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Content-Encoding: zstd" \
  --data-binary @request.json.zst

API 會先解壓縮本文,再處理請求。壓縮可減少透過網路傳送的位元組數,但不會改變 Token 用量或模型的上下文上限。

壓縮後與解壓縮後的本文大小都不得超過 128 MiB,且解壓縮後的大小不得超過壓縮後的 100 倍。若請求超過上述任一限制,API 會傳回 HTTP 413。API 傳回 HTTP 400 表示收到的 zstd 資料無效或不完整。其他請求限制仍然適用。

壓縮 WebSocket 訊息

Responses API 的 WebSocket 模式支援 permessage-deflate,可在連線至 wss://api.openai.com/v1/responses 時使用。這項 WebSocket 擴充功能使用 DEFLATE 壓縮訊息,以減少傳輸量。請在建立連線前,於 WebSocket 用戶端的壓縮設定中啟用這項功能。

管理速率限制

使用我們的 API 時,請先瞭解速率限制,並將這些限制納入規劃。

降低延遲

請參閱最新的延遲最佳化指南。

延遲是從發送請求到處理完畢並傳回回應所經過的時間。本節說明影響文字生成模型延遲的因素,以及如何降低延遲。

文字補全請求的延遲主要取決於兩個因素:使用的模型,以及產生的 Token 數量。文字補全請求的生命週期如下:

網路
從終端使用者到 API 的延遲
伺服器
處理提示詞 Token 所需的時間
伺服器
取樣/產生 Token 所需的時間
網路
從 API 到終端使用者的延遲

延遲通常主要來自產生 Token 的階段。

直觀理解:在文字補全呼叫中,處理提示詞 Token 所增加的延遲很小。產生補全 Token 所需的時間則長得多,因為模型一次只能產生一個 Token。輸出越長,需要逐一產生的 Token 就越多,累積的延遲也越高。

影響延遲的常見因素與改善方式

瞭解延遲的基本原理後,接下來看看哪些因素會影響延遲。以下大致依影響程度由大到小排列。

模型

我們的 API 提供多種模型,各有不同的複雜度與適用範圍。能力最強的模型,例如 gpt-6-astra,可以產生更複雜、更多樣的補全結果,但處理查詢也需要較長時間。 gpt-5.6-terra 和 gpt-5.6-luna 等模型能以較低成本更快產生回應。如果你希望模型能應付更複雜的任務,gpt-6-astra 是較合適的預設選擇。你可以依使用情境權衡速度、成本與品質,選出最適合的模型。

補全 Token 數量

如果請求要求模型產生大量補全 Token,延遲可能會增加:

  • 調低 Token 數量上限:如果兩個請求產生的 Token 數量相近,max_tokens 參數值較低的請求延遲較低。
  • 加入停止序列:加入停止序列可避免產生不必要的 Token。例如,你可以用停止序列來產生項目數固定的清單。將 11. 設為停止序列,即可產生只有 10 個項目的清單,因為補全過程會在遇到 11. 時停止。詳情請參閱停止序列說明文章。
  • 減少補全結果的數量:盡可能調低 n 和 best_of 的值。n 指定每個提示詞要產生多少個補全結果,而 best_of 用於從候選結果中選出每個 Token 的平均對數機率最高的結果。

如果 n 和 best_of 都等於 1(預設值),產生的 Token 數量最多為 max_tokens。

如果將 n(傳回的補全結果數量)或 best_of(產生的候選補全結果數量)設為 > 1,每個請求都會產生多個輸出。此時,可用 [ max_tokens * max (n, best_of) ] 估算最多會產生多少個 Token。

串流

在請求中設定 stream: true 後,模型一產生 Token 就會立即傳回,不必等到整段 Token 序列產生完畢。串流不會縮短取得全部 Token 的時間,但能縮短等候第一個 Token 的時間。若應用程式需要顯示已產生的部分內容,或預計在生成途中停止,值得試用串流來改善使用者體驗。

批次處理

視使用情境而定,批次處理可能有所幫助。如果你要向同一個端點發送多個請求,可以將提示詞合併成一批,透過同一個請求送出,藉此減少請求次數。提示詞參數最多可容納 20 個不同的提示詞。建議你實際測試這個方法,看看是否有幫助。在某些情況下,批次處理反而可能產生更多 Token,使回應時間變長。

管理成本

若要監控成本,你可以在帳戶中設定通知門檻。用量超過指定門檻時,系統就會以電子郵件通知你。你可以透過用量追蹤儀表板監控本期和過往帳單週期的 Token 用量。

文字生成

將原型部署至正式環境時,其中一項挑戰是為應用程式的執行成本編列預算。OpenAI 採用按用量付費的計價模式,以每 1,000 個 Token(約相當於 750 個英文單字)為計價單位。估算成本前,需要先預估 Token 用量。請考量流量大小、使用者與應用程式互動的頻率,以及應用程式需要處理的資料量。

要找出降低成本的方法,可以從兩個因素著手:Token 數量與每個 Token 的成本。 第一種做法是針對部分任務改用較小的模型,降低每個 Token 的成本。另一種做法是減少所需的 Token 數量,例如縮短提示詞、微調模型,或快取常見的使用者查詢,以免重複處理。

你可以試用互動式 Token 切分工具來估算成本。API 和 Playground 傳回的回應也會包含 Token 數量。先用能力最強的模型取得預期結果後,再試試其他模型,看看能否以較低的延遲和成本得到相同結果。詳情請參閱 Token 用量說明文章。

MLOps 策略

將原型部署至正式環境時,可以考慮擬定 MLOps 策略。MLOps(機器學習維運)指的是管理機器學習模型完整生命週期的流程,也適用於透過我們的 API 微調的模型。擬定 MLOps 策略時,請考量以下面向:

  • 資料與模型管理:管理用於訓練或微調模型的資料,並追蹤版本與變更。
  • 模型監控:持續追蹤模型的表現,偵測潛在問題或表現下滑的情形。
  • 模型重新訓練:確保模型能因應資料或需求的變化,並視需要重新訓練或微調模型。
  • 模型部署:將模型及相關產物部署至正式環境的流程自動化。

在應用程式的規劃階段仔細考量這些面向,有助於讓模型長期符合需求並維持良好表現。

安全性與法規遵循

將原型部署至正式環境時,你需要評估並滿足適用於應用程式的安全性與法規遵循要求。請檢視應用程式處理哪些資料、瞭解我們的 API 如何處理資料,並確認必須遵守哪些法規。我們的安全實務與信任與法規遵循入口網站提供最完整且最新的文件。你也可以參閱我們的隱私權政策和使用條款。

常見的考量包括資料儲存、傳輸與保留。你可能也需要採取措施保護資料隱私,例如在可行的情況下加密資料或將資料匿名化。此外,請遵循安全程式設計的最佳實務,例如清理輸入資料並妥善處理錯誤。

安全最佳實務

使用我們的 API 開發應用程式時,請參考安全最佳實務,確保應用程式安全且能順利運作。這些建議強調廣泛測試產品、主動處理潛在問題,以及減少遭到濫用的機會。

商業考量

當 AI 專案從原型進入正式環境時,除了思考如何運用 AI 打造出色的產品,也要考量產品與核心業務的關係。我們仍在探索這些問題的答案。你可以先看看這場開發者日演講,聽聽我們與幾位客戶如何深入探討這些問題: