我們正從單輪對話助理,走向能長時間處理實際知識工作的智慧體,例如讀取大型資料集、更新檔案及撰寫應用程式。
根據開發者的回饋,以及我們開發 Codex 和內部智慧體的經驗,我們推出了一組新的基礎功能,讓智慧體更容易完成耗時較長的工作:
- 技能(遵循 Agent Skills 開放標準):可重複使用並管理版本的指示集。你可以將技能掛載到容器中,讓智慧體更可靠地執行任務。
- 升級版 Shell 工具:提供由 OpenAI 託管的容器,可控管網際網路存取。智慧體可以在容器內安裝相依套件、執行指令碼,並將報告及其他成果寫入檔案。
- 伺服器端壓縮:讓智慧體在長時間執行期間自動壓縮上下文,避免觸及上下文上限。
開發文件與 API 參考文件分別說明了上述各項功能。本文聚焦於一些較少人注意到的技巧與做法。就我們目前在 OpenAI 的開發經驗,以及早期採用技能的客戶 Glean 在正式環境中的經驗而言,這些做法的成效最好。
先掌握三個基本概念
技能:模型可按需載入的「作業程序」
一項技能由一組檔案與一份 SKILL.md 資訊清單組成,清單內含檔頭中繼資料與操作指示。你可以把技能想成一本有版本紀錄的操作手冊,模型在實際執行任務時可以查閱。
有可用的技能時,平台會將每項技能的 name、description 和 path 提供給模型。模型根據這些中繼資料判斷是否要呼叫某項技能。如果決定呼叫,就會讀取 SKILL.md 以取得完整工作流程。
Shell 工具:智慧體執行操作的環境
Shell 工具讓模型能在實際的終端環境中工作,有兩種環境可選:
- 由 OpenAI 管理的託管容器。
- 自行執行的本機 Shell 環境(工具的操作方式相同,機器由你掌控)。
託管 Shell 環境透過 Responses API 運作,因此你可以透過 API 請求保留工作狀態、呼叫工具、跨多輪對話接續工作,並取得產出檔案。
壓縮:讓長時間執行的任務持續進行
工作流程越長,就越容易觸及上下文視窗的上限。伺服器端壓縮會管理上下文視窗,自動壓縮對話紀錄,讓任務能持續執行。
Responses API 提供兩種壓縮方式:
- 伺服器端壓縮(新功能): 上下文超過門檻時,系統會在串流過程中自動執行壓縮,無須另外發出壓縮請求。
- 獨立壓縮端點: 如果想自行決定何時壓縮,可以使用
/responses/compact。
為什麼適合搭配使用
- 技能把固定的作業程序和範例整理成可重複使用的檔案組,讓提示詞更容易維護。
- Shell 提供完整的執行環境,讓你安裝程式、執行指令碼並寫入結果。
- 壓縮讓長時間執行的任務保持連貫,同一個工作流程可以繼續執行,無須手動刪減或重整上下文。
- 三者搭配使用,就能讓智慧體實際操作並重複執行同一套流程,也不必把系統提示詞寫成一份冗長、稍作修改就容易出錯的文件。
實用技巧
1)技能說明要寫清楚選用條件,避免寫成行銷文案
模型主要依據技能說明來判斷是否選用該技能。說明應回答以下問題:
- 什麼時候該使用這項技能?
- 什麼時候不該使用?
- 預期產出是什麼?如何判斷任務成功?
一個實用做法是直接在說明中加上一小段「適用與不適用的情況」,具體列出輸入、會用到的工具及預期產出。
2)加入反例與邊界情況,減少觸發錯誤
有個出人意料的問題:剛提供技能時,模型正確觸發技能的比例反而可能下降。我們發現,加入反例並涵蓋邊界情況有助於改善這個問題。
實作時,可以明確列出幾個「遇到以下情況時,請勿呼叫這項技能」的案例,並說明應改採什麼做法。這能幫助模型更準確地選用技能,尤其是當多項技能乍看之下很相似時。
Glean 就遇過這個問題:在針對特定任務的評測中,改由模型依技能說明選擇技能後,觸發率起初下降了約 20%。後來他們在說明中加入反例與邊界情況,觸發率才恢復。
3)把範本與範例放進技能裡(沒用到時幾乎沒有額外成本)
如果你一直把範本塞進系統提示詞,可以改變做法了。
把範本與完整示範放在技能裡有兩個好處:
- 需要時就能取得,也就是在呼叫技能時載入。
- 處理無關查詢時,不會增加 Token 用量。
這對產出以下知識工作成果特別有效:
- 結構化報告。
- 升級案件的分流摘要。
- 客戶經營計畫。
- 資料分析報告。
Glean 表示,這些範例只會在技能觸發時載入,因此這項做法是他們在正式環境中提升品質、降低延遲最有成效的做法之一。
4)一開始就為長時間執行做好設計,重複使用容器並啟用壓縮
需要長時間工作的智慧體,很少能只靠一個單樣本提示詞就完成任務。一開始就要規劃如何接續工作:
- 如果需要維持相依套件的狀態、沿用快取檔案或保留中間產出,就在各步驟中重複使用同一個容器。
- 傳入
previous_response_id,讓模型在同一個對話串中接續工作。 - 將壓縮納入長時間任務的預設流程,避免等到上下文即將用盡才啟用。
這些做法搭配使用,可以減少從頭開始的情況,讓多步驟任務在對話串變長後仍能前後連貫。
5)需要確定的執行行為時,直接指示模型使用指定技能
預設由模型自行判斷何時使用技能。這通常就是你想要的行為。
但如果你在正式環境中執行的工作流程已有明確約定,而且希望模型照約定執行,可以直接寫:
「請使用 <skill name> 技能。」
這是提高可靠性最簡單的做法。模型原本需要自行推斷該選哪項技能,現在有了明確指示。
6)技能搭配網路存取風險很高,設計時就要限制存取範圍
這項安全考量在初期很容易被忽略,事後卻很難補救。
同時提供技能與不受限制的網路存取,會形成資料外洩的高風險途徑。 如果要啟用網路,請嚴格限制網路允許清單,並將工具輸出視為不可信的資料。在面向消費者的流程中,如果使用者預期重要操作須經明確確認,就應避免同時開放網際網路存取與功能強大的作業程序。
建議採用以下預設設定:
- 技能:允許
- Shell:允許
- 網路:僅在設有最小允許清單時啟用,且只針對範圍明確而有限的任務,逐一為請求設定清單。
7)透過 /mnt/data 交接產出檔案
在託管 Shell 環境的工作流程中,凡是之後要取回、檢閱或傳給後續步驟的產出,都統一寫入 /mnt/data。例如報告、清理過的資料集,以及完成的試算表。
可以這樣理解分工:工具將資料寫入磁碟,模型根據磁碟上的資料推理,開發者再從磁碟取回成果。
8)掌握組織與請求兩個層級的允許清單
網路存取由兩個層級控管:
- 組織層級的允許清單由管理員設定,界定整個組織最多可以存取哪些目的地。
- 請求層級的
network_policy所允許的目的地,必須是組織允許清單的子集。
實務上要注意兩點:
- 組織允許清單應精簡且穩定,只列入「你信任且已核准的目的地」。
- 每個請求的允許清單應更精簡,只列入「這次任務需要的目的地」。
如果請求包含組織允許清單以外的網域,系統就會傳回錯誤。
9)使用 domain_secrets 發出需要驗證的呼叫,避免憑證外洩
如果允許存取的網域需要驗證標頭,請使用 domain_secrets,讓模型始終無法看到原始憑證。
執行時,模型看到的是預留位置(例如 $API_KEY),而輔助容器只會在請求送往已核准的目的地時填入實際值。只要智慧體需要從容器內呼叫受保護的 API,這就是穩妥的預設做法。
10)在雲端與本機使用相同的 API
你可以同時使用技能與 Shell,無須將所有工作都移到託管環境:
- 技能既可用於託管 Shell 環境,也可用於本機 Shell 模式。
- Shell 提供本機執行模式,你可以自行執行
shell_call,再將shell_call_output傳回模型。 - 如果使用 Agents SDK,也可以接上自己的 Shell 執行器。
實際開發時可以這樣做:
- 先從本機開始,方便快速迭代、存取內部工具及偵錯。
- 需要可重複執行、環境隔離及一致的部署環境時,再移到託管容器。
- 兩種模式都沿用相同的技能,即使更換執行環境,工作流程也能保持穩定。
三種開發模式
你可以自由嘗試這些新的智慧體基礎功能。以下三個範例示範如何搭配使用,開發實用的應用程式。
模式 A:安裝 → 擷取資料 → 寫入產出檔案
這是運用託管 Shell 環境最簡單的方式:讓智慧體安裝相依套件、擷取外部資料,最後交付具體成果。
例如:
- 安裝兩個函式庫。
- 擷取網頁資料或呼叫 API。
- 將報告寫入
/mnt/data/report.md。
這個模式讓流程有了明確可供檢閱的成果,是智慧體執行實際工作的基礎。應用程式可以將產出檔案呈現給使用者、留下紀錄、比對差異,或交給後續步驟處理。
模式 B:搭配技能與 Shell,建立可重複執行的工作流程
成功建立一兩個 Shell 工作流程後,你會發現下一個問題:流程雖然可行,但提示詞的寫法逐漸偏離原本的設計時,執行的可靠性也會下降。
這時就能用上技能。以下做法適合長期沿用:
- 將工作流程的步驟、防護措施與範本寫進技能。
- 將技能掛載到 Shell 環境。
- 讓智慧體遵循技能中的程序,以可預期的方式產出檔案。
這個做法特別適合以下工作流程:
- 分析或編輯試算表。
- 清理資料集並產生摘要。
- 為例行業務流程產生標準化報告。
模式 C(進階):用技能封裝企業工作流程
我們早期就觀察到,從呼叫單一工具進展到協調多項工具時,準確度可能會下降。技能可以把選用與組合工具時所需的推理整理成明確程序,彌補這項落差,也不會讓系統提示詞變得冗長。
以 Glean 的實際經驗為例:
- 一項針對 Salesforce 設計的技能,讓評測準確度從 73% 提升至 85%,並將產生第一個 Token 所需的時間縮短了 18.1%。
- 具體做法包括仔細設計技能選用條件、提供反例,以及在技能中加入範本與範例。
- Glean 也將企業工作流程中的例行任務寫成技能,包括擬定客戶經營計畫、分流升級案件,以及產生符合品牌風格的內容。
技能在這裡能發揮更大的作用:它們成為可持續更新的 SOP(標準作業程序),能隨組織的發展調整,並由智慧體以一致的方式執行。
建立一次,處處執行
當智慧體既能遵循程序,又能實際操作電腦時,長時間執行任務的價值就大幅提升。技能、託管 Shell 環境與壓縮提供了所需的基礎。回顧本文的做法:
- 用技能定義任務的做法,包括程序、範本與防護措施。
- 用 Shell 執行具體操作,包括安裝套件、執行程式與寫入產出檔案。
- 用壓縮讓長時間執行的任務保持連貫,無須手動管理上下文。
- 需要快速迭代時,先在本機開發。
- 需要可重複執行的隔離環境時,再移到託管容器。
- 使用組織層級與請求層級的允許清單嚴格控管網路存取,並使用網域密鑰發出需要驗證的呼叫。