如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題
總覽 智慧體存取權 ChatGPT 與 Codex 使用者文件 使用案例

最佳化中繼資料

提供完整的中繼資料,讓模型更容易找到合適的工具並正確呼叫。

中繼資料為何重要

ChatGPT 和 Codex 會根據你提供的中繼資料,判斷何時呼叫你的工具。清楚的工具名稱、描述和參數說明能提高相關提示詞的召回率,也能減少誤觸發。中繼資料和產品文案一樣,需要反覆測試,並根據分析結果持續修訂。

建立基準提示詞集

調整中繼資料前,先整理一組已標註的資料,涵蓋以下三類提示詞:

  • 直接提示詞: 使用者明確提到你的產品或資料來源名稱。
  • 間接提示詞: 使用者描述想要的結果,但沒有提到你的工具名稱。
  • 負向提示詞: 這類請求應由內建工具或其他工具處理。

記錄每個提示詞的預期行為:呼叫你的工具、不採取任何動作,或改用其他工具。之後進行迴歸測試時,會再次使用這組提示詞。

撰寫能引導模型的中繼資料

針對每個工具,依下列原則撰寫中繼資料:

  • 名稱: 將工具所屬領域與執行的動作組合成名稱(calendar.create_event)。
  • 描述: 以「遇到……時,請使用這個工具」開頭,並明確列出禁止使用的情況(例如「請勿用於提醒事項」)。
  • 參數說明: 說明每個引數並提供範例。如果輸入值有限制,請使用允許的值。
  • 唯讀提示: 如果工具只會擷取或計算資訊,絕不會建立、更新或刪除資料,也不會將資料傳送到對話之外,請標註 readOnlyHint: true。
  • 破壞性操作提示: 如果工具不會刪除或覆寫使用者資料,請標註 destructiveHint: false。
  • 開放世界提示: 如果工具會存取公開網際網路,或可存取的外部對象沒有固定範圍,請標註 openWorldHint: true。這也適用於網頁搜尋等唯讀工具。如果工具只能存取特定私人帳戶或工作區內的資源,請使用 false,即使該服務由外部代管也是如此。

評估自訂 MCP 伺服器

  1. 在 ChatGPT 中連線至你的自訂 MCP 伺服器,並安裝連線後產生的外掛程式。
  2. 逐一測試基準提示詞集中的提示詞,記錄模型選了哪個工具、傳入了哪些引數,以及元件是否成功顯示。
  3. 針對每個提示詞,追蹤精確率(呼叫的工具是否正確?)和召回率(該呼叫工具時是否確實呼叫?)。

如果模型選錯工具,請修改描述,凸顯工具的適用情境,或縮小工具的適用範圍。

有系統地逐步調整

  • 每次只更動一個中繼資料欄位,才能判斷是哪項變更帶來改善。
  • 記錄每次修訂的內容、時間戳記和測試結果。
  • 將修訂前後的差異提供給審查者,以便在部署前找出語意不清的文案。

每次修訂後都要重新評估。先讓負向提示詞的精確率達到較高水準,再考慮如何進一步小幅提升召回率。

監控正式環境

MCP 伺服器上線後:

  • 每週檢視工具呼叫的分析資料。如果經確認為「選錯工具」的案例激增,通常表示中繼資料已偏離工具的實際適用情境。
  • 收集使用者意見,針對常見的誤解更新工具描述。
  • 安排定期重新執行提示詞測試,尤其是在新增工具或變更結構化欄位之後。

中繼資料需要持續維護。措辭越精確、評估越仔細,模型就越容易找到並呼叫合適的工具。