GPT-5 已經推出,我們想談談整合 GPT-5 的最佳方式:Responses API,也說明我們為什麼要針對推理模型和未來的智慧體應用量身打造 Responses。
設計每一代 OpenAI API 時,我們都從同一個問題出發:怎樣才能讓開發者用最簡單的方式與模型互動,又能充分發揮模型的能力?
我們一直依據模型本身的運作方式來設計 API。最早的 /v1/completions 端點很簡單,功能也有限:你給模型一段提示詞,它就順著你的思路寫下去。開發者可以透過少樣本提示等技巧,嘗試引導模型輸出 JSON 或回答問題,但那些模型的能力遠不及今天我們習以為常的水準。
後來,隨著 RLHF 和 ChatGPT 出現,我們進入了後訓練時代。模型突然有了新本事,除了接續你寫到一半的文章,還能像對話夥伴一樣回應你。為了跟上這項進展,我們打造了 /v1/chat/completions(只花了一個週末,這段故事廣為人知)。我們提供 system、user、assistant 等角色,讓開發者有一套基本架構,可以快速建立對話介面,並自訂指令和上下文。
模型持續進步,很快就能看、能聽,也能說。2023 年底推出的函式呼叫,後來成為最受開發者喜愛的功能之一。大約同一時間,我們推出了 Assistants API 測試版,首次嘗試打造可讓智慧體全程自主運作的介面,並提供程式碼解譯器、檔案搜尋等託管工具。有些開發者很喜歡它,但與 Chat Completions 相比,它的 API 設計限制較多,導入也更困難,因此始終未能普及。
到了 2024 年底,我們很清楚需要把這些優點整合起來:新的 API 要像 Chat Completions 一樣容易上手,具備 Assistants 的強大功能,同時也要針對多模態模型和推理模型來設計。於是就有了 /v1/responses。
/v1/responses 讓智慧體循環推理與行動
Chat Completions 提供簡單的逐輪對話介面。Responses 則提供一套結構化的循環,讓模型在其中推理並採取行動。你可以把它想成請偵探辦案:你提供證據,偵探展開調查,必要時請教專家(工具),最後向你報告結果。在調查的各個步驟之間,偵探會保留自己的筆記(推理狀態),但絕不會把筆記交給委託人。
這正是推理模型能大顯身手的地方:Responses 會在這些回合之間保留模型的推理狀態。使用 Chat Completions 時,每次呼叫結束後,推理狀態就會消失,就像偵探每次走出房間就忘了線索。Responses 讓筆記本保持攤開,模型在下一輪仍能接續先前一步步推理的過程。這項差異反映在基準測試成績上(TAUBench 提升 5%),也提高了快取利用率、降低了延遲。

Responses 還可以傳回多個輸出項目,讓你既能看到模型說了什麼,也能看到它做了什麼。工具呼叫、結構化輸出和中間步驟都有紀錄可查,就像拿到寫好的文章時,也拿到了寫有演算過程的草稿紙。這些紀錄能幫助你偵錯、稽核,以及打造能呈現更多資訊的使用者介面。
{
"message": {
"role": "assistant",
"content": "I'm going to use the get_weather tool to find the weather.",
"tool_calls": [
{
"id": "call_88O3ElkW2RrSdRTNeeP1PZkm",
"type": "function",
"function": {
"name": "get_weather",
"arguments": "{\"location\":\"New York, NY\",\"unit\":\"f\"}"
}
}
],
"refusal": null,
"annotations": []
}
}Chat Completions 每次收到請求,只會傳回一則訊息。這種訊息結構有其限制:你無法看出模型是先發出訊息,還是先呼叫函式。 {
"id": "rs_6888f6d0606c819aa8205ecee386963f0e683233d39188e7",
"type": "reasoning",
"summary": [
{
"type": "summary_text",
"text": "**Determining weather response**\n\nI need to answer the user's question about the weather in San Francisco. ...."
},
},
{
"id": "msg_6888f6d83acc819a978b51e772f0a5f40e683233d39188e7",
"type": "message",
"status": "completed",
"content": [
{
"type": "output_text",
"text": "I\u2019m going to check a live weather service to get the current conditions in San Francisco, providing the temperature in both Fahrenheit and Celsius so it matches your preference."
}
],
"role": "assistant"
},
{
"id": "fc_6888f6d86e28819aaaa1ba69cca766b70e683233d39188e7",
"type": "function_call",
"status": "completed",
"arguments": "{\"location\":\"San Francisco, CA\",\"unit\":\"f\"}",
"call_id": "call_XOnF4B9DvB8EJVB3JvWnGg83",
"name": "get_weather"
},Responses 會傳回一份多型項目清單,模型採取行動的先後順序一目了然。開發者可以自行決定哪些項目要顯示、哪些要寫入紀錄,哪些可以完全略過。讓託管工具分擔底層開發工作
函式呼叫推出之初,我們就注意到一種重要用法:開發者除了讓模型呼叫 API,也讓模型搜尋文件庫,從外部來源取得資料。後一種做法如今稱為檢索增強生成(RAG)。但對剛起步的開發者來說,從零開始建立檢索管線既困難又昂貴。我們在 Assistants 中首次推出託管工具 file_search 和 code_interpreter,讓模型能運用 RAG,也能撰寫程式碼來解決你提出的問題。到了 Responses,我們更進一步加入網頁搜尋、圖像生成和 MCP。程式碼解譯器或 MCP 等託管工具都在伺服器端執行,因此你無須讓每次工具呼叫都往返自己的後端,既能縮短延遲,也能降低往返成本。
安全地保留推理過程
為什麼要費這麼多工夫隱藏模型的原始思路鏈(CoT)?直接公開思路鏈,讓用戶端像處理其他模型輸出一樣處理它,豈不是更簡單?簡單來說,公開原始思路鏈有多項風險。思路鏈可能包含幻覺,也可能出現最終回覆不會生成的有害內容。對 OpenAI 而言,公開思路鏈也會帶來競爭上的風險。
去年底推出 o1-preview 時,我們的首席科學家 Jakub Pachocki 在部落格寫道:
我們相信,隱藏的思路鏈為監測模型提供了獨特的機會。只要思路鏈能忠實反映模型的思考,又能讓人讀懂,我們就能藉此「讀出模型的心思」,了解它的思考過程。例如,未來我們可能會想監測思路鏈,看看模型是否有操縱使用者的跡象。不過,要讓這個方法奏效,模型必須能自由表達未經修飾的想法,因此我們不能透過訓練讓思路鏈遵循任何政策或迎合使用者偏好。我們也不希望使用者直接看到未經對齊的思路鏈。
Responses 以兩種方式處理這個問題:
- 在系統內部加密保存推理狀態,用戶端無法查看。
- 透過
previous_response_id或推理項目安全地接續推理,無須公開原始思路鏈。
為什麼 /v1/responses 是開發應用程式的最佳選擇
我們在設計 Responses 時,讓它能保留狀態、支援多模態,並兼顧效率。
- 智慧體可運用工具。 透過 Responses API,開發者可以輕鬆運用檔案搜尋、圖像生成、程式碼解譯器和 MCP 等工具,擴充智慧體工作流程的能力。
- 預設保留狀態。 Responses 會自動追蹤對話和工具狀態,大幅簡化推理與多輪工作流程。透過 Responses 整合 GPT-5,光是利用保留下來的推理狀態,TAUBench 分數就比使用 Chat Completions 高出 5%。
- 從一開始就支援多模態。 文字、圖像、音訊和函式呼叫都享有同等支援。打個比方,我們在畫房屋設計圖時,就為每種模態預留了房間,省去了日後在文字 API 上加蓋的麻煩。
- 成本更低,效能更好。 內部基準測試顯示,Responses 的快取利用率比 Chat Completions 高出 40–80%。這意味著延遲更短,成本也更低。
- 更好用的設計。 我們從 Chat Completions 和 Assistants 這兩套 API 的開發經驗中學到許多,在 Responses API 和 SDK 中改善了多項細節,讓日常開發更順手,包括:
- 具有明確語意的串流事件。
- 以項目內部的標記區分多型項目的類型。
- SDK 提供
output_text輔助工具(不必再寫choices.[0].message.content)。 - 多模態與推理參數的編排更清楚。
那 Chat Completions 呢?
Chat Completions 會繼續提供。如果它符合你的需求,可以繼續使用。如果你希望模型能延續推理、自然地處理多模態互動,並且直接在一個循環中推理與行動,省去自行拼湊智慧體流程的工夫,Responses 就是合適的選擇。
展望未來
就像 Chat Completions 接替 Completions 一樣,我們預期 Responses 會成為開發者使用 OpenAI 模型打造應用程式的首選。它容易上手,也能在你需要時提供強大的功能。無論下一種開發典範帶來什麼變化,Responses 都有足夠的彈性來因應。
未來幾年,我們都會以這套 API 為基礎繼續開發。