如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

對話狀態

瞭解如何在與模型互動時管理對話狀態。

OpenAI 提供多種方式來管理對話狀態,讓你能在對話的多則訊息或多個回合之間保留資訊。

如果 GPT-5.5 將中途的進度更新當成最終答案,排查問題時,請確認你的整合程式是否正確保留了助理訊息的 phase 欄位。詳見階段參數。

手動管理對話狀態

每個文字生成請求都是獨立且無狀態的,但你仍可在請求參數中傳入額外的訊息,實作多回合對話。以下以一問一答的敲門笑話為例:

手動重建先前的對話
from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6-astra",
    input=[
        {"role": "user", "content": "knock knock."},
        {"role": "assistant", "content": "Who's there?"},
        {"role": "user", "content": "Orange."},
    ],
)

print(response.output_text)

交替排列 user 和 assistant 訊息,就能在一次請求中將先前的對話狀態傳給模型。

若要手動在各次回應之間共用上下文,請將模型上一次回應的輸出作為輸入,附加到下一個請求中。

向推理模型傳送無狀態請求時,請保留回應中 output 陣列的每個項目。Responses API 預設會傳回加密的推理項目。將完整輸出傳回模型,即可完整保留推理項目和助理訊息的 phase 值。對於支援持久保存推理內容的模型,可使用 reasoning.context: "all_turns",在下一次取樣時納入先前回合中可用的推理內容。詳見在多次呼叫之間保留推理內容。

將推理項目傳回模型時,請保留模型產生這些項目時所依據的對話紀錄。如需瞭解修改對話紀錄會如何影響推理,請參閱保持前綴不變。

在以下範例中,我們先請模型說一個笑話,再請它說另一個。將先前的回應附加到新請求中,有助於保留先前互動的上下文,讓對話自然延續。

使用 Responses API 手動管理對話狀態
from openai import OpenAI

client = OpenAI()

history = [{"role": "user", "content": "tell me a joke"}]

response = client.responses.create(
    model="gpt-6-astra",
    input=history,
    store=False,
)

print(response.output_text)

# Add all response output items, including encrypted reasoning items, to the conversation
history += response.output

history.append({"role": "user", "content": "tell me another"})

second_response = client.responses.create(
    model="gpt-6-astra",
    input=history,
    store=False,
)

print(second_response.output_text)

用於管理對話狀態的 OpenAI API

透過 OpenAI API,你可以輕鬆地自動管理對話狀態,無須在每個對話回合手動傳入先前的輸入。

使用 Conversations API

Conversations API 可搭配 Responses API,將對話狀態儲存為長期存在的物件,每個物件都有自己的固定識別碼。建立對話物件後,即可在不同工作階段、裝置或作業中繼續使用它。

對話中儲存的項目可以是訊息、工具呼叫、工具輸出或其他資料。

建立對話
conversation = openai.conversations.create()

在多回合互動中,產生後續回應時可傳入 conversation,讓這些回應保留狀態並共用上下文,無須逐一串接多個回應項目。

使用 Conversations API 和 Responses API 管理對話狀態
response = openai.responses.create(
    model="gpt-6-astra",
    input=[{"role": "user", "content": "What are the 5 Ds of dodgeball?"}],
    conversation=conversation.id,
)

傳入上一個回應的上下文

另一種管理對話狀態的方式,是使用 previous_response_id 參數在各次回應之間共用上下文。這個參數可將回應串接起來,形成連貫的對話串。

傳入上一個回應的 ID,串接不同回合的回應
from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6-astra",
    input="tell me a joke",
)
print(response.output_text)

second_response = client.responses.create(
    model="gpt-6-astra",
    previous_response_id=response.id,
    input=[{"role": "user", "content": "explain why this is funny."}],
)
print(second_response.output_text)

WebSocket 模式下的 previous_response_id

使用 Responses API 的 WebSocket 模式 時,previous_response_id 延續對話的方式與 HTTP 模式相同,但會透過持續開啟的通訊端,多次傳送 response.create 事件。

每個連線都有專屬快取,會將最近的回應保留在記憶體中,以降低延續對話時的延遲。使用 stream_id 時,每個通道都能保留自己的最新回應。回應的承接關係仍由 previous_response_id 決定,因此只要另一個通道上的某個回應仍可用,新通道就能從該回應建立分支。如果某個 ID 不在快取中,也無法找到對應的回應,請將 previous_response_id 設為 null,並傳入完整的輸入上下文,開始新的回合。

即使使用 previous_response_id,API 仍會將回應鏈中先前各次回應的所有輸入 Token 都按輸入 Token 計費。

管理上下文視窗

瞭解上下文視窗有助於建立對話串,並在多次模型互動之間管理狀態。

上下文視窗是單一請求可使用的 Token 數量上限。輸入、輸出和推理 Token 都計入這個上限。若要查詢模型的上下文視窗大小,請參閱模型詳細資料。

管理文字生成的上下文

當輸入變得更複雜,或對話包含更多回合時,就需要同時考量輸出 Token 和上下文視窗的上限。模型的輸入和輸出都以 Token 為計量單位。模型會將輸入拆解為 Token,分析其內容和意圖,再組合 Token 以產生連貫的輸出。每個模型對單次文字生成請求從開始到結束可使用的 Token 數量都設有上限。

  • 輸出 Token 是模型根據提示詞產生的 Token。各模型的輸出 Token 上限不同。例如,gpt-4o-2024-08-06 最多可產生 16,384 個輸出 Token。
  • 上下文視窗決定輸入和輸出合計可使用多少 Token(部分模型也會計入推理 Token)。你可以比較各模型的上下文視窗上限。例如,gpt-4o-2024-08-06 的上下文視窗總容量為 128k 個 Token。

如果提示詞很長,例如為模型加入了額外的上下文、資料或範例,就可能超出模型的上下文視窗上限,導致輸出遭到截斷。

你可以使用 Token 計數工具查看一段文字包含多少個 Token。這項工具使用 tiktoken 程式庫建置。

例如,向 Responses API 傳送 API 請求並使用已啟用推理功能的模型(如 o1 模型)時,下列 Token 都會計入上下文視窗的總用量:

  • 輸入 Token(你在 input 陣列中傳給 Responses API 的輸入)
  • 輸出 Token(模型根據提示詞產生的 Token)
  • 推理 Token(模型用來規劃回應的 Token)

API 回應可能會截斷超出上下文視窗上限的生成 Token。

上下文視窗示意圖

你可以使用 Token 計數工具估算訊息會使用多少個 Token。

壓縮

如需詳細的壓縮指引,請參閱壓縮。

後續步驟

如需更多具體範例和使用案例,請參閱 OpenAI Cookbook,或透過以下指南瞭解如何使用 API 擴充模型功能: