如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

極速模式

速度最快的 API 服務層級,適合對延遲敏感的工作。

極速模式

極速模式是 OpenAI API 中速度最快的服務層級,目前已廣泛開放給使用 GPT-6 Astra 和 GPT-6.1 Sol 的開發者。當速度帶來的效益值得付出較高費用時,即可選用此模式。

我們強烈建議使用 WebSocket,尤其是需要在短時間內連續多次呼叫工具的智慧體應用程式。若未使用持續連線,額外的網路開銷可能會抵銷部分延遲改善效果。

所有 API 使用者都可以使用 GPT-6 Astra 和 GPT-6.1 Sol 的極速模式。 極速模式有獨立的速率限制,與標準模式和快速模式分開計算。增加流量前,請先確認貴組織的速率限制。 如果貴組織有專責聯繫的 OpenAI 客戶團隊,請聯絡該團隊申請提高速率限制。

設定請求

請將 model 設為 gpt-6-astra 或 gpt-6.1-sol,並將 service_tier 設為 ultrafast。每個 response.create 事件都必須包含這些設定。

請依照建立連線並產生回應的說明,安裝所用程式語言的 SDK 和 WebSocket 相依套件。執行範例前,請先在環境中設定 OPENAI_API_KEY。

在同一條 WebSocket 連線上進行多輪極速模式對話
# Install: pip install --upgrade "openai[realtime]"
# Set OPENAI_API_KEY in your environment.

from openai import OpenAI

client = OpenAI()

previous_response_id: str | None = None
prompts = [
    "Explain why the sky is blue in one sentence.",
    "Now explain why sunsets look red.",
]

with client.responses.connect() as connection:
    for prompt in prompts:
        connection.response.create(
            model="gpt-6-astra",
            service_tier="ultrafast",
            store=False,  # Keep this conversation on the current connection.
            previous_response_id=previous_response_id,
            input=prompt,
        )

        for event in connection:
            if event.type == "response.output_text.delta":
                print(event.delta, end="", flush=True)
            elif event.type == "response.completed":
                previous_response_id = event.response.id
                print()
                break
            elif event.type in {"response.failed", "response.incomplete", "error"}:
                raise RuntimeError(event.to_json())
        else:
            raise RuntimeError("Connection closed before the response finished.")

這些範例透過同一條連線傳送兩個請求,並印出每個回應。Go、Java 和 Ruby 範例會等到收到完整回應後再印出。第二個請求會傳送新的提示詞,並將第一個回應的 ID 作為 previous_response_id 傳入。進行後續對話或傳送工具結果時,請沿用同一條連線。詳見以增量輸入繼續對話。

改用 HTTP

極速模式也支援透過 SDK 傳送 HTTP 請求。如果智慧體應用程式需要頻繁呼叫工具,請使用持續的 WebSocket 連線,以減少請求之間的額外開銷。

透過 HTTP 建立極速模式回應
from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6-astra",
    input="Explain why the sky is blue in one sentence.",
    service_tier="ultrafast",
)

print(response.output_text)

此範例會等待完整回應。若要在收到輸出時即時顯示內容,請啟用串流。

可用範圍

GPT-6.1 Sol 在極速模式下的預設 Token 速率限制如下:

API 使用層級 每分鐘 Token 數(TPM)
Build 1,000,000
Launch 4,000,000
Grow 40,000,000

GPT-6 Astra 在極速模式下的預設 Token 速率限制如下:

API 使用層級 每分鐘 Token 數(TPM)
Build 500,000
Launch 1,000,000
Grow 5,000,000

輸入、快取輸入、快取寫入及輸出的價格,請參閱極速模式價格表。

GPT-6.1 Sol 的極速模式支援美國和歐盟的資料駐留,也支援全球處理。GPT-6 Astra 的極速模式僅支援美國資料駐留和全球處理。