OpenAI 平台提供一系列評估工具,協助你確保智慧體的表現一致且準確。
你可以依據本頁說明,為智慧體工作流程選擇最適合的評估方式。
排查智慧體行為問題時,先查看追蹤記錄
對追蹤記錄評分,是找出工作流程層級問題最快的方法。每筆追蹤記錄都涵蓋工作流程單次執行的完整過程,包括模型呼叫、工具呼叫、防護機制的運作,以及智慧體之間的交接。你可以使用評分器,依據結構化準則為這些記錄評分,從大量執行記錄中找出表現退步的情況及失敗模式。
如果你想釐清下列問題,可以對追蹤記錄評分:
- 智慧體是否選對了工具?
- 智慧體是否在該交接時完成交接?
- 工作流程是否違反了某項指示或安全政策?
- 調整提示詞或路由後,工作流程的整體表現是否有所改善?
追蹤記錄評分流程
- 在儀表板中開啟 Logs > Traces。
- 從使用 SDK 建置的應用程式中,選一筆具代表性的工作流程追蹤記錄加以檢視。在過渡期間,你也可以從現有的 Agent Builder 工作流程中選取這類記錄加以檢視。
- 建立評分器,並用它為選取的追蹤記錄評分。
- 根據評分結果,調整提示詞、工具介面、路由邏輯或防護機制。
如果你使用 SDK 以程式碼建置工作流程,請先參閱整合與可觀測性,取得能清楚反映工作流程行為的追蹤記錄,再正式設定評分器。
需要重複評估時,改用資料集執行評估
明確定義良好表現的標準後,就可以從檢視個別追蹤記錄,轉為使用同一份資料集重複執行評估。當你想衡量變更前後的表現、比較不同的提示詞,或持續進行更大規模的評估時,都適合採用這種方式。
如果你需要進階功能,例如評估外部模型、透過 API 執行評估,或進行更大規模的批次評估,可以搭配資料集使用評估工具。
相關評估工具與資源
評估入門:資料集
根據評估結果持續改進,再次評估改進成效。
使用評估工具
瞭解如何評估外部模型、透過 API 使用評估工具,以及使用其他功能。
提示詞最佳化工具
使用你的資料集自動改善提示詞。
Cookbook:運用評估撰寫在不同情境下都能穩定發揮作用的提示詞
根據評估結果持續改進,再次評估改進成效。