如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

評估智慧體工作流程

運用追蹤記錄與評分器,並使用資料集執行評估,改善智慧體的表現。

OpenAI 平台提供一系列評估工具,協助你確保智慧體的表現一致且準確。

你可以依據本頁說明,為智慧體工作流程選擇最適合的評估方式。

排查智慧體行為問題時,先查看追蹤記錄

對追蹤記錄評分,是找出工作流程層級問題最快的方法。每筆追蹤記錄都涵蓋工作流程單次執行的完整過程,包括模型呼叫、工具呼叫、防護機制的運作,以及智慧體之間的交接。你可以使用評分器,依據結構化準則為這些記錄評分,從大量執行記錄中找出表現退步的情況及失敗模式。

如果你想釐清下列問題,可以對追蹤記錄評分:

  • 智慧體是否選對了工具?
  • 智慧體是否在該交接時完成交接?
  • 工作流程是否違反了某項指示或安全政策?
  • 調整提示詞或路由後,工作流程的整體表現是否有所改善?

追蹤記錄評分流程

  1. 在儀表板中開啟 Logs > Traces。
  2. 從使用 SDK 建置的應用程式中,選一筆具代表性的工作流程追蹤記錄加以檢視。在過渡期間,你也可以從現有的 Agent Builder 工作流程中選取這類記錄加以檢視。
  3. 建立評分器,並用它為選取的追蹤記錄評分。
  4. 根據評分結果,調整提示詞、工具介面、路由邏輯或防護機制。

如果你使用 SDK 以程式碼建置工作流程,請先參閱整合與可觀測性,取得能清楚反映工作流程行為的追蹤記錄,再正式設定評分器。

需要重複評估時,改用資料集執行評估

明確定義良好表現的標準後,就可以從檢視個別追蹤記錄,轉為使用同一份資料集重複執行評估。當你想衡量變更前後的表現、比較不同的提示詞,或持續進行更大規模的評估時,都適合採用這種方式。

如果你需要進階功能,例如評估外部模型、透過 API 執行評估,或進行更大規模的批次評估,可以搭配資料集使用評估工具。

相關評估工具與資源

評估入門:資料集

根據評估結果持續改進,再次評估改進成效。

使用評估工具

瞭解如何評估外部模型、透過 API 使用評估工具,以及使用其他功能。

提示詞最佳化工具

使用你的資料集自動改善提示詞。

Cookbook:運用評估撰寫在不同情境下都能穩定發揮作用的提示詞

根據評估結果持續改進,再次評估改進成效。