OpenAI 提供兩類模型:推理模型(例如 o3 和 o4-mini)和 GPT 模型(例如 GPT-4.1)。這兩個模型系列的運作方式不同。
本指南涵蓋以下主題:
- 推理模型與非推理型 GPT 模型的差異
- 何時適合使用推理模型
- 如何為推理模型撰寫有效的提示詞
進一步瞭解推理模型及其運作方式。
推理模型與 GPT 模型的差異
o 系列模型和 GPT 模型各自擅長不同的任務,所需的提示詞也不同。兩者各有所長,沒有絕對的優劣之分。
我們訓練 o 系列模型擔任「規劃者」,讓它們花更多時間深入思考複雜任務。這些模型擅長擬定策略、為複雜問題規劃解決方案,也能在資訊量大且含義不明確時做出決策。它們執行任務時也能兼顧準確度與精確度,很適合用於原本需要人類專家處理的領域,例如數學、科學、工程、金融服務和法律服務。
GPT 模型則擔任「執行者」,延遲較低、成本效益較高,專為執行明確的任務而設計。應用程式可以先用 o 系列模型擬定解題策略,再交由 GPT 模型執行個別任務。當速度和成本比完全準確更重要時,這種做法尤其合適。
如何選擇模型
在你的使用情境中,哪些因素最重要?
- 速度與成本 → GPT 模型速度較快,成本通常也較低
- 執行定義明確的任務 → GPT 模型擅長執行要求明確的任務
- 準確性與可靠性 → o 系列模型能做出可靠的決策
- 解決複雜問題 → o 系列模型能釐清模糊之處,處理複雜問題
如果你最重視速度與成本, 而且 要執行的任務都很單純、定義明確,GPT 模型最為合適。如果你最重視準確性與可靠性, 而且 需要分多個步驟解決非常複雜的問題,o 系列模型可能更適合你。
大多數 AI 工作流程會搭配使用這兩類模型,由 o 系列模型負責智慧體的規劃與決策,再由 GPT 系列模型執行任務。

GPT-4o 和 GPT-4o mini 會根據客戶資訊初步檢視訂單明細,找出訂單問題及適用的退貨政策,再將這些資料全部傳給 o3-mini,由 o3-mini 根據政策判定是否可以退貨。
何時適合使用推理模型
以下是客戶和 OpenAI 內部成功運用推理模型的幾種方式。這裡列舉部分實例,供你實際測試 o 系列模型時參考,並未涵蓋所有可能的使用情境。
1. 處理指示不明確的任務
即使資訊有限或零散,推理模型也很擅長根據簡單的提示詞理解使用者的意圖,並處理指示不完整的地方。遇到資訊不足的情況,推理模型通常會先提問釐清,以免貿然猜測或自行補足缺漏。
「有了 o1 的推理能力,我們的多智慧體平台 Matrix 在處理複雜文件時,能提供內容完整、細節詳盡且格式清楚的回覆。例如,只要給一個基本的提示詞,o1 就能讓 Matrix 輕鬆找出授信協議中哪些額度可用於受限制付款。過去的模型都沒有這樣的表現。我們針對條文繁密的授信協議提出複雜的提示詞,其中有 52% 是 o1 的結果優於其他模型。」
—Hebbia,為法律與金融業提供 AI 知識平台的公司
2. 從大量資訊中找出關鍵細節
當你提供大量非結構化資訊時,推理模型很擅長理解內容,並從中擷取與問題最相關的資訊來回答。
「為了分析一宗企業收購案,o1 審閱了數十份公司文件,包括合約和租約,以找出可能影響交易的棘手條件。我們請模型標出關鍵條款,它在註腳中發現了一項重要的『控制權變更』條款:如果公司被出售,就必須立即清償一筆 7,500 萬美元的貸款。o1 對細節的掌握,讓我們的 AI 智慧體能協助金融專業人士找出攸關業務成敗的資訊。」
—Endex,AI 金融情報平台
3. 從大型資料集中找出關聯與細微差異
我們發現,推理模型特別擅長分析複雜文件,例如法律合約、財務報表和保險理賠文件。這些文件可能長達數百頁,包含大量密集的非結構化資訊。推理模型尤其擅長找出不同文件的共通之處,也能根據資料中隱含的事實做出決策。
「稅務研究需要綜合多份文件,才能得出有說服力的答案。我們把 GPT-4o 換成 o1,發現 o1 更能理解文件之間如何相互影響,並據此推導出合乎邏輯、卻無法從任何一份文件單獨看出的結論。改用 o1 後,端對端效能達到原來的 4 倍,令人驚豔。」
—Blue J,稅務研究 AI 平台
推理模型也擅長理解政策與規則中的細微差異,並將其應用於眼前的任務,得出合理結論。
「在財務分析中,分析師經常需要處理涉及股東權益的複雜情境,並釐清相關法律細節。我們用一道棘手但常見的問題,測試了不同供應商的約 10 個模型:募資會對現有股東造成什麼影響,尤其是當他們行使反稀釋權利時?要回答這個問題,必須推算投資前後的估值,並處理股權稀釋計算中的循環關係。即使是頂尖的財務分析師,也要花 20 到 30 分鐘才能算清楚。我們發現 o1 和 o3-mini 都能毫無差錯地完成!模型甚至列出清楚的計算表,呈現募資對持股價值 10 萬美元的股東有何影響。」
–BlueFlame AI,投資管理 AI 平台
4. 為智慧體規劃多步驟任務
推理模型對智慧體的任務規劃與策略制定至關重要。我們見過一種成效良好的做法:由推理模型擔任「規劃者」,針對問題擬定詳細的多步驟解決方案,再根據各步驟最看重的是模型能力還是低延遲,指派合適的 GPT 模型擔任「執行者」。
「在我們的智慧體基礎架構中,o1 擔任規劃者,負責協調工作流程中的其他模型,共同完成多步驟任務。我們發現 o1 很擅長選擇資料類型,也能將大問題拆成幾個小問題,讓其他模型專心執行。」
—Argon AI,製藥業 AI 知識平台
「我們的工作用 AI 助理 Lindy 有許多智慧體工作流程都由 o1 驅動。模型透過函式呼叫從你的行事曆或電子郵件取得資訊,接著就能自動幫你安排會議、寄送電子郵件,以及處理其他日常事務。我們把過去容易出問題的智慧體步驟全部改由 o1 處理,結果一夜之間,智慧體就幾乎不再出錯了!」
—Lindy.AI,工作用 AI 助理
5. 視覺推理
目前,o1 是唯一支援視覺功能的推理模型。相較於 GPT-4o,o1 的特色在於能理解極難判讀的影像,例如結構不明確的圖表和表格,或畫質不佳的照片。
「我們為數百萬件網路商品執行自動化風險與合規審查,範圍包括精品珠寶仿款、瀕危物種和管制物質。在最難的影像分類任務中,GPT-4o 的準確率為 50%。完全不必修改處理流程,o1 的準確率就達到了令人印象深刻的 88%。」
—SafetyKit,以 AI 驅動的風險與合規平台
在內部測試中,我們發現 o1 能從細節豐富的建築圖面中辨識固定設備與材料,產生完整的材料清單。尤其令人意外的是,即使沒有明確指示,o1 也能找出不同圖面之間的對應關係,將某一頁的圖例正確套用到另一頁。如下圖所示,對於標示為「4x4 PT」的木柱,o1 根據圖例辨識出「PT」代表木材經過加壓處理。

6. 審查程式碼、偵錯與提升程式碼品質
推理模型特別擅長審查及改善大量程式碼。由於這類模型的延遲較高,程式碼審查通常會在背景執行。
「我們在 GitHub 和 GitLab 等平台上提供自動化 AI 程式碼審查。程式碼審查本身對延遲不敏感,但需要理解多個檔案中的程式碼差異。這正是 o1 的強項:它能可靠地偵測出程式碼庫中人類審查者可能忽略的細微變更。改用 o 系列模型後,我們的產品轉換率達到原來的 3 倍。」
—CodeRabbit,專注於 AI 程式碼審查的新創公司
GPT-4o 和 GPT-4o mini 的延遲較低,在撰寫程式碼方面可能更合適。不過,我們也發現,在對延遲要求稍低的情境中,o3-mini 產生程式碼的表現尤其出色。
「o3-mini 能穩定產出品質高、能切實解決問題的程式碼。只要問題定義明確,即使是非常棘手的程式設計任務,它也往往能找到正確解法。其他模型可能只適合快速進行小範圍的程式碼迭代,o3-mini 則擅長規劃並實作設計複雜的軟體系統。」
—Windsurf,由 Codeium 打造、以智慧體式 AI 驅動的協作 IDE
7. 評估其他模型的回覆並進行基準測試
我們也發現,推理模型很擅長對其他模型的回覆進行基準測試與評估。資料驗證對於確保資料集的品質與可靠性十分重要,在醫療照護等敏感領域尤其如此。傳統的驗證方法使用預先定義的規則和模式,而 o1 和 o3-mini 等進階模型能理解上下文,並根據資料進行推理,使驗證更靈活,也更能因應實際情況。
「許多客戶在 Braintrust 上進行評估時,會讓 LLM 擔任評審。例如,醫療照護公司可以先用 gpt-4o 這類擅長執行任務的模型為病患的問題撰寫摘要,再由 o1 評估摘要品質。Braintrust 有一位客戶將評審模型從 4o 換成 o1,F1 分數就從 0.12 提升到 0.74!在這些情境中,客戶發現,面對最困難、最複雜的評分任務時,o1 的推理能力讓他們更能辨別生成結果之間的細微差異。」
—Braintrust,AI 評估平台
如何為推理模型撰寫有效的提示詞
使用簡單直接的提示詞時,這些模型的表現最好。某些提示工程技巧,例如要求模型「一步一步思考」,未必能改善表現,有時甚至會適得其反。請參考以下最佳實務,或從提示詞範例開始。
- 開發者訊息取代系統訊息:從
o1-2024-12-17起,推理模型改為支援開發者訊息,以符合模型規格中所述的指令優先順序。 - 提示詞要簡單直接:這些模型擅長理解並回應簡短、清楚的指示。
- 避免使用思路鏈提示詞:模型會在內部進行推理,因此不必要求它們「一步一步思考」或「說明你的推理過程」。
- 用分隔符號清楚區分內容:使用 Markdown 標記、XML 標籤或段落標題等分隔方式,清楚標示輸入內容的不同部分,協助模型正確解讀各段內容。
- 先試零樣本提示詞,必要時再用少樣本提示詞:推理模型通常不需要範例也能產生良好結果,因此可以先試著撰寫不含範例的提示詞。如果對輸出有較複雜的要求,可以在提示詞中提供幾組輸入與預期輸出的範例。請確保範例與提示詞中的指示高度一致,兩者若有出入,結果可能不理想。
- 明確列出限制條件:如果你希望模型的回覆符合特定限制,例如「提出預算低於 500 美元的解決方案」,請在提示詞中明確列出這些限制。
- 具體說明最終目標:請在指示中盡可能具體地說明成功的回覆應符合哪些條件,並鼓勵模型持續推理、反覆調整,直到符合你的成功標準。
- Markdown 格式:從
o1-2024-12-17起,透過 API 使用推理模型時,模型會避免產生 Markdown 格式的回覆。如果希望模型以 Markdown 格式回覆,請在開發者訊息的第一行加入字串Formatting re-enabled。
如何兼顧低成本與高準確性
隨著 o3 和 o4-mini 模型推出,Responses API 對已儲存推理項目的處理方式也有所改變。先前使用 o1、o3-mini、o1-mini 和 o1-preview 時,即使後續 API 請求的輸入項目包含推理項目,這些推理項目也一律會被忽略。使用 o3 和 o4-mini 時,部分與函式呼叫相鄰的推理項目會納入模型的上下文,有助於改善模型表現,同時盡量減少推理 Token 用量。
為了充分利用這項變更,我們建議使用 Responses API,將 store 參數設為 true,並傳入先前請求的所有推理項目。你可以使用 previous_response_id,或將先前請求的所有輸出項目作為新請求的輸入項目傳入。OpenAI 會自動將相關推理項目納入模型的上下文,並忽略無關項目。在較進階的使用情境中,如果你想更精確地控制模型上下文的內容,我們建議至少納入上一則使用者訊息與最近一次函式呼叫之間的所有推理項目。這樣一來,當你回應函式呼叫時,模型就不必從頭推理,既能改善函式呼叫的表現,也能降低整體 Token 用量。
如果使用 Chat Completions API,推理項目一律不會納入模型的上下文,因為 Chat Completions 是無狀態 API。在涉及大量函式呼叫的複雜智慧體情境中,模型表現會因此略微下降,推理 Token 用量也會增加。如果情境不涉及複雜的多次函式呼叫,無論使用哪個 API,模型表現應該都不會下降。
其他資源
如需更多靈感,請參閱 OpenAI Cookbook,其中收錄了範例程式碼和第三方資源連結。你也可以透過以下資源進一步瞭解我們的模型及其推理能力: