如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

对话状态

了解如何在与模型交互时管理对话状态。

OpenAI 提供了多种管理对话状态的方式,帮助您在同一对话的多条消息或多轮交互之间保留信息。

如果 GPT-5.5 将中途的进展更新当作最终答案,请检查您的集成是否正确保留了助手消息的 phase 字段。详情请参阅阶段参数。

手动管理对话状态

每个文本生成请求都是独立且无状态的,但您仍然可以将之前的消息作为参数传入请求,实现多轮对话。下面以一个敲门问答笑话为例。

手动构建对话历史
from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.2-astra",
    input=[
        {"role": "user", "content": "knock knock."},
        {"role": "assistant", "content": "Who's there?"},
        {"role": "user", "content": "Orange."},
    ],
)

print(response.output_text)

将 user 和 assistant 消息按对话顺序交替排列,就能在一次请求中向模型提供此前的对话状态。

要在生成多个响应时手动共享上下文,请将模型上一次响应的输出作为输入,追加到下一次请求中。

向推理模型发送无状态请求时,请保留响应中 output 数组的每一项。Responses API 默认返回加密的推理项。重新传入完整输出可以保留所有推理项,以及助手消息中 phase 字段的原值。对于支持持久化推理的模型,您可以使用 reasoning.context: "all_turns",让模型在下一次采样时使用先前各轮中可用的推理内容。请参阅在多次调用之间保留推理内容。

重新传入推理项时,请保留模型生成这些推理项时所依据的对话历史。有关修改对话历史如何影响推理的详细说明,请参阅保持前缀不变。

在下面的示例中,我们先请模型讲一个笑话,然后请它再讲一个。以这种方式将之前的响应追加到新请求中,有助于保留之前交互的上下文,让对话自然地延续下去。

使用 Responses API 手动管理对话状态
from openai import OpenAI

client = OpenAI()

history = [{"role": "user", "content": "tell me a joke"}]

response = client.responses.create(
    model="gpt-6.2-astra",
    input=history,
    store=False,
)

print(response.output_text)

# Add all response output items, including encrypted reasoning items, to the conversation
history += response.output

history.append({"role": "user", "content": "tell me another"})

second_response = client.responses.create(
    model="gpt-6.2-astra",
    input=history,
    store=False,
)

print(second_response.output_text)

用于管理对话状态的 OpenAI API

OpenAI API 可以自动管理对话状态,省去每轮对话都手动传入历史输入的步骤。

使用 Conversations API

Conversations API 与 Responses API 配合使用,可将对话状态保存在具有持久标识符的长期对象中。创建对话对象后,您可以跨会话、设备或作业继续使用它。

对话中存储的条目可以是消息、工具调用、工具输出或其他数据。

创建对话
conversation = openai.conversations.create()

在多轮交互中,您可以在后续生成响应的请求中传入 conversation,从而保留状态并在后续响应之间共享上下文,无需逐一串联多个响应项。

使用 Conversations API 和 Responses API 管理对话状态
response = openai.responses.create(
    model="gpt-6.2-astra",
    input=[{"role": "user", "content": "What are the 5 Ds of dodgeball?"}],
    conversation=conversation.id,
)

传递上一次响应的上下文

您也可以通过 previous_response_id 参数在生成多个响应时共享上下文,从而管理对话状态。此参数可将前后响应串联起来,形成连续的对话线程。

传入上一次响应的 ID,串联多轮响应
from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.2-astra",
    input="tell me a joke",
)
print(response.output_text)

second_response = client.responses.create(
    model="gpt-6.2-astra",
    previous_response_id=response.id,
    input=[{"role": "user", "content": "explain why this is funny."}],
)
print(second_response.output_text)

如果您将 developer 消息放在初始请求的 input 中,该消息会保留在响应链的对话历史中。顶层 instructions 仅对传入该参数的请求生效,因此您可以在后续请求中为该轮响应单独指定指令。

WebSocket 模式下的 previous_response_id

如果您使用 Responses API 的 WebSocket 模式,续接对话时,previous_response_id 的含义与 HTTP 模式相同。在 WebSocket 模式下,您通过同一个持久连接多次发送 response.create 事件来续接对话。

每个连接都有自己的缓存,用于在内存中保留最近的响应,以低延迟续接对话。使用 stream_id 时,每个通道都可以保留各自最新的响应。previous_response_id 仍然决定新响应从哪个响应延续,因此,只要另一个通道上的响应仍然可用,新通道就可以从该响应派生出新的对话分支。如果无法解析未命中缓存的 ID,请在发送新一轮请求时将 previous_response_id 设为 null,并传入完整的输入上下文。

即使使用 previous_response_id,API 仍会将响应链中先前各轮的所有输入 Token 按输入 Token 计费。

管理上下文窗口

了解上下文窗口有助于您创建连续的对话线程,并在与模型的多次交互之间管理状态。

上下文窗口是单次请求可使用的最大 Token 数,包括输入、输出和推理 Token。要了解所用模型的上下文窗口大小,请参阅模型详情。

管理文本生成的上下文

当输入变得更复杂或对话轮数增加时,您需要同时考虑输出 Token 和上下文窗口的限制。模型的输入和输出都以 Token 为计量单位。模型将输入解析为 Token,以分析其内容和意图,再生成 Token 并将其组合成连贯的输出。在一次文本生成请求中,模型可使用的 Token 数量有上限。

  • 输出 Token 是模型根据提示词生成的 Token。各模型的输出 Token 上限有所不同。例如,gpt-4o-2024-08-06 最多可生成 16,384 个输出 Token。
  • 上下文窗口规定了输入和输出合计可使用的 Token 总数。对于部分模型,这一总数还包括推理 Token。您可以比较各模型的上下文窗口上限。例如,gpt-4o-2024-08-06 的上下文窗口大小为 128k 个 Token。

如果提示词很长,例如包含额外的上下文、数据或示例,就可能超出模型的上下文窗口上限,导致输出被截断。

您可以使用分词工具查看一段文本包含多少个 Token。该工具基于 tiktoken 库构建。

例如,向 Responses API 发送 API 请求并使用支持推理的模型(如 o1 模型)时,以下几类 Token 都计入上下文窗口总量:

  • 输入 Token(您在 input 数组中传给 Responses API 的输入)
  • 输出 Token(模型根据您的提示词生成的 Token)
  • 推理 Token(模型用于规划响应的 Token)

生成的 Token 超出上下文窗口上限时,API 响应可能会截断超出的部分。

上下文窗口示意图

您可以使用分词工具估算消息会使用多少个 Token。

压缩

有关压缩的详细说明,请参阅压缩指南。

后续步骤

更多具体示例和用例,请参阅 OpenAI Cookbook。您也可以通过以下指南了解如何使用 API 扩展模型能力: