如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

壓縮

使用伺服器端壓縮與獨立壓縮管理長時間進行的對話。

概覽

在長時間的互動中,你可以透過壓縮縮小上下文,同時保留後續回合所需的狀態。

隨著對話變長,壓縮有助於兼顧品質、成本與延遲。若要瞭解如何在變更對話紀錄時保留推理,請參閱保持前綴不變。

伺服器端壓縮

你可以在建立回應的請求(POST /responses 或 client.responses.create)中設定 context_management,並在其中指定 compact_threshold,以啟用伺服器端壓縮。

  • 當上下文渲染後的 Token 數超過設定的門檻時,伺服器就會執行壓縮。
  • 在此模式下,無須另外呼叫 /responses/compact。
  • 回應串流會包含加密的壓縮項目。
  • 關於 ZDR:在建立回應的請求中設定 store=false 後,即可搭配零資料保留(ZDR)使用伺服器端壓縮。

傳回的壓縮項目會以較少的 Token 將先前的關鍵狀態與推理保留到下一次執行。其內容不透明,並非供人直接解讀。

若以無狀態方式串接輸入陣列,請照常將輸出項目附加到陣列中。若使用 previous_response_id,每回合只需傳入新的使用者訊息。這兩種方式都會透過壓縮項目保留下一個視窗所需的上下文。

降低延遲的做法:將輸出項目附加到先前的輸入項目後,你可以移除最近一次壓縮項目之前的所有項目,以縮小請求並降低長尾延遲。最新的壓縮項目已保留繼續對話所需的上下文。若使用 previous_response_id 串接回應,請勿手動刪減項目。

使用流程

  1. 照常呼叫 /responses,並在請求中加入 context_management,於其中指定 compact_threshold 以啟用伺服器端壓縮。
  2. 在串流傳送回應期間,若上下文大小超過門檻,伺服器就會執行一次壓縮,在同一串流中送出壓縮輸出項目,並在刪減上下文後繼續推論。
  3. 選擇一種方式繼續執行迴圈。若以無狀態方式串接輸入陣列,請將輸出項目(含壓縮項目)附加到下一個輸入陣列。若以 previous_response_id 串接回應,每回合只需傳入新的使用者訊息,並沿用上一個回應的 ID。

使用流程範例

import OpenAI from "openai";
import { toResponseInputItems } from "openai/lib/responses/ResponseInputItems";
import { createInterface } from "node:readline";

const client = new OpenAI();

const conversation: OpenAI.Responses.ResponseInput = [
  {
    type: "message",
    role: "user",
    content: "Let's begin a long coding task.",
  },
];

// Subscribe before generation so piped follow-up turns are not lost.
const lines = createInterface({ input: process.stdin, crlfDelay: Infinity });
const turns = lines[Symbol.asyncIterator]();

async function respond() {
  const response = await client.responses.create({
    model: "gpt-5.3-codex",
    input: conversation,
    store: false,
    context_management: [{ type: "compaction", compact_threshold: 200_000 }],
  });

  conversation.push(...toResponseInputItems(response.output));
  console.log(response.output_text);
}

try {
  await respond();
  for await (const line of turns) {
    if (!line.trim()) continue;
    conversation.push({ type: "message", role: "user", content: line });
    await respond();
  }
} finally {
  lines.close();
}

獨立壓縮端點

若要自行控制壓縮時機,可以在長時間執行的工作流程中使用獨立壓縮端點執行無狀態壓縮。

此端點完全無狀態,可搭配 ZDR 使用。

傳送完整的上下文視窗(包含訊息、工具及其他項目)後,端點會傳回新的壓縮後上下文視窗,供你傳入下一次 /responses 呼叫。

傳回的視窗包含一個加密的壓縮項目,以較少的 Token 保留先前的關鍵狀態與推理。該項目的內容不透明,並非供人直接解讀。

請注意,壓縮後的視窗通常不只包含壓縮項目,也可能包含從上一個視窗保留下來的項目。

處理輸出時,請勿刪減 /responses/compact 的輸出。傳回的視窗就是下一次呼叫應使用的上下文視窗,請將其原樣傳入下一次 /responses 呼叫。

獨立壓縮的使用流程

  1. 照常呼叫 /responses,傳送包含使用者訊息、助理輸出及工具互動的輸入項目。
  2. 當上下文視窗變大時,呼叫 /responses/compact 以產生新的壓縮後上下文視窗。傳送至 /responses/compact 的視窗仍須在模型的上下文視窗容量範圍內。
  3. 後續呼叫 /responses 時,請以傳回的壓縮後視窗(含壓縮項目)取代完整對話紀錄,作為輸入。

使用流程範例

import OpenAI from "openai";
import { toResponseInputItems } from "openai/lib/responses/ResponseInputItems";

const client = new OpenAI();

const conversation: OpenAI.Responses.ResponseInput = [
  { role: "user", content: "Plan a trip to Kyoto." },
];

const compacted = await client.responses.compact({
  model: "gpt-6-astra",
  input: conversation,
});

const nextInput: OpenAI.Responses.ResponseInput = [
  ...toResponseInputItems(compacted.output),
  { role: "user", content: "Add two more days to the itinerary." },
];

const response = await client.responses.create({
  model: "gpt-6-astra",
  input: nextInput,
  store: false,
});

console.log(response.output_text);