如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

評估最佳實務

瞭解如何設計評估,測試模型在正式環境中的表現。

生成式 AI 的輸出具有變異性。即使輸入相同,模型有時也會產生不同的輸出,因此單靠傳統的軟體測試方法,並不足以測試 AI 架構。透過評估(evals),即使輸出會變動,你仍然可以測試 AI 系統。

本指南介紹設計評估的基本原則。若要開始使用 Evals API,請參閱評估模型表現。

OpenAI 正逐步棄用 Evals 平台。過渡期間仍可存取現有的評估內容。自 2026 年 10 月 31 日起,現有使用者只能以唯讀方式存取 Evals。平台預定於 2026 年 11 月 30 日關閉。最新時程請參閱棄用公告。

什麼是評估?

評估是用來衡量模型表現的結構化測試。即使 AI 系統的行為具有非確定性,評估仍有助於確保系統的準確性、效能與可靠性。對採用 LLM 的應用程式而言,能 改善 其表現的方法不多,利用評估進行微調就是其中之一。

評估的類型

「評估」可能指以下幾種做法:

  • 單獨測試各個模型並比較其表現的業界基準,例如 MMLU 和 Hugging Face 排行榜列出的基準
  • 標準量化指標,例如 ROUGE 和 BERTScore,可在為自己的使用情境設計評估時採用
  • 自行實作的特定測試,用來衡量 LLM 應用程式的表現

本指南著重於第三種做法,也就是自行設計評估。

如何解讀評估結果

評估分數通常介於 0 到 1 之間。解讀評估結果時,除了看分數,也要結合指標與人工判斷,確認評估回答的是你真正關心的問題。

評估技巧


  • 採用評估驅動開發:從開發初期就開始評估,並經常執行。每個階段都要撰寫範圍明確的測試。
  • 針對任務設計評估:讓測試反映模型在真實資料分布下執行任務的能力。
  • 完整記錄:在開發過程中保留日誌,以便從中找出有價值的評估案例。
  • 盡可能自動化:設計評估時,讓結果可以自動評分。
  • 持續評估:評估要貫穿整個開發過程。
  • 維持評分一致性:利用人工回饋校準自動評分。

應避免的做法


  • 指標過於籠統:只依賴困惑度或 BLEU 分數等學術指標。
  • 設計有偏差:建立的評估資料集無法忠實反映正式環境的流量特性。
  • 憑感覺評估:以「看起來能用」作為評估策略,或等到產品上線才開始實作評估。
  • 忽略人工回饋:沒有依據人工評估結果校準自動化指標。

設計評估流程

評估流程包含幾個重要步驟:

  1. 訂定評估目標。評估的成功條件是什麼?
  2. 蒐集資料集。哪些資料能幫助你判斷是否達成目標?可考慮合成的評估資料、特定領域的評估資料、購買的評估資料、人工挑選整理的評估資料、正式環境的資料,以及歷史資料。
  3. 訂定評估指標。你要如何確認結果符合成功條件?
  4. 執行評估並比較結果。反覆測試與調整,改善模型在特定任務或系統中的表現。
  5. 持續評估。設定持續評估(CE),在每次變更時執行評估。監控應用程式,找出新的非確定性案例,逐步擴充評估集。

以下用幾個範例說明。

範例:產生逐字稿摘要

若要測試 LLM 應用程式產生逐字稿摘要的能力,可以這樣設計評估:

  1. 訂定評估目標
    模型產生的摘要在相關性與準確性上應能媲美參考摘要。
  2. 蒐集資料集
    結合正式環境的資料(蒐集使用者對生成摘要的回饋),以及領域專家(寫作者)建立的資料集,以判斷什麼樣的摘要算是「好摘要」。
  3. 訂定評估指標
    使用預留供評估的 1,000 組逐字稿與參考摘要進行測試時,系統的 ROUGE-L 分數應至少達到 0.40,以 G-Eval 衡量的連貫性分數應至少達到 80%。
  4. 執行評估並比較結果
    使用 Evals API 在 OpenAI 儀表板中建立並執行評估。
  5. 持續評估
    設定持續評估(CE),在每次變更時執行評估。監控應用程式,找出新的非確定性案例,逐步擴充評估集。

LLM 較擅長分辨不同選項。因此,設計評估時,應優先採用成對比較、分類或依據明確標準評分等任務,少用開放式生成任務。發揮 LLM 在比較選項上的優勢,評判 LLM 輸出或比較不同模型時,就能得到更可靠的結果。

範例:根據文件回答問題

若要測試 LLM 應用程式根據文件回答問題的能力,可以這樣設計評估:

  1. 訂定評估目標
    模型應能視需要找出相關上下文,針對使用者的提示詞進行推理,並給出精確且符合使用者需求的答案。
  2. 蒐集資料集
    結合正式環境的資料(蒐集使用者對問題解答的滿意度)、針對領域專家所出題目預先寫好的正確答案,以及日誌中的歷史資料。
  3. 訂定評估指標
    上下文召回率至少達到 0.85,上下文精確率高於 0.7,且至少 70% 的答案獲得正面評價。
  4. 執行評估並比較結果
    使用 Evals API 在 OpenAI 儀表板中建立並執行評估。
  5. 持續評估
    設定持續評估(CE),在每次變更時執行評估。監控應用程式,找出新的非確定性案例,逐步擴充評估集。

建立評估資料集時,

gpt-6-astra

可協助你蒐集評估範例與邊界案例。可以用它產生涵蓋各種情境的多樣化測試資料。請確認測試資料包含典型案例、邊界案例與對抗性案例,並請具備領域專業知識的標註員進行標註。

找出需要評估的環節

從基本架構轉向更複雜的架構時,系統的複雜度也會提高。以下是四種常見的架構模式:

閱讀以下架構說明,找出系統中會引入非確定性的環節。這些就是應該實作評估的地方。

單輪模型互動

在這種架構中,使用者向模型提供輸入。模型會一併處理使用者輸入和開發者提供的提示詞,產生對應的輸出。

範例

以線上零售為例。系統提示詞要求模型將顧客的問題歸入下列其中一類:

  • order_status
  • return_policy
  • technical_issue
  • cancel_order
  • other

為了提供一致且有效率的使用體驗,模型應只傳回符合使用者意圖的標籤。假設顧客問:「我的訂單目前是什麼狀態?」

非確定性的來源對應的評估項目評估問題範例
開發者與使用者提供的輸入

遵循指示:模型是否正確理解所收到的指示,並依照指示行動?



遵循指示:當使用者提示詞與系統提示詞衝突時,模型是否優先遵循系統提示詞?

模型是否專注於問題分流,還是會受到使用者提問的影響而偏離任務?

模型產生的輸出

功能正確性:模型的輸出是否準確、切題且足夠完整,能完成預定任務或達成目標?

模型判定的意圖是否符合預期意圖?

工作流程架構

要解決更複雜的問題,你可能會從單輪模型互動,轉為串接多次模型呼叫的多步驟工作流程。工作流程不會引入新的非確定性來源,但包含多次模型互動,可以分別評估。

範例

沿用顧客詢問訂單狀態的例子。工作流程架構會先將顧客的請求分流,再依序執行以下步驟:

  1. 擷取訂單 ID
  2. 查詢訂單詳細資料
  3. 將訂單詳細資料提供給模型,以產生最終回覆

這個工作流程的每個步驟都有各自的系統提示詞,模型必須依照指示執行,最後將查得的所有資料整理成易懂的回覆。

非確定性的來源對應的評估項目評估問題範例
開發者與使用者提供的輸入

遵循指示:模型是否正確理解所收到的指示,並依照指示行動?



遵循指示:當使用者提示詞與系統提示詞衝突時,模型是否優先遵循系統提示詞?

模型是否專注於問題分流,還是會受到使用者提問的影響而偏離任務?



模型是否依照指示嘗試擷取訂單 ID?



最終回覆是否包含訂單狀態、預計到貨日期與貨件追蹤號碼?

模型產生的輸出

功能正確性:模型的輸出是否準確、切題且足夠完整,能完成預定任務或達成目標?

模型判定的意圖是否符合預期意圖?



最終回覆中的訂單狀態、預計到貨日期與貨件追蹤號碼是否正確?

單一智慧體架構

與工作流程不同,智慧體用來解決需要靈活決策的非結構化問題。智慧體具備一組指示和工具,並會動態選擇要使用的工具。這項選擇引入了新的非確定性來源。

工具是開發者定義、可供模型執行的程式碼。工具可以是小型輔助函式,也可以呼叫現有服務的 API。例如,check_order_status(order_id) 可以是一項工具,接受 order_id 引數,再呼叫 API 查詢訂單狀態。

範例

將前面的客服範例改為使用單一智慧體。這個智慧體可以使用三項不同的工具:

  • 訂單查詢工具
  • 密碼重設工具
  • 產品常見問題工具

顧客詢問訂單狀態時,智慧體會依情況決定要呼叫工具,還是先回覆顧客。例如,當顧客問「我的訂單目前是什麼狀態?」時,智慧體可以接著請顧客提供訂單 ID,讓互動更自然。

非確定性對應的評估項目評估問題範例
開發者與使用者提供的輸入

遵循指示:模型是否正確理解所收到的指示,並依照指示行動?



遵循指示:當使用者提示詞與系統提示詞衝突時,模型是否優先遵循系統提示詞?

模型是否專注於問題分流,還是會受到使用者提問的影響而偏離任務?



模型是否依照指示嘗試擷取訂單 ID?

模型產生的輸出

功能正確性:模型的輸出是否準確、切題且足夠完整,能完成預定任務或達成目標?

模型判定的意圖是否符合預期意圖?

模型選用的工具

工具選擇:測試智慧體是否能選用正確的工具。



資料精確性:確認智慧體是否使用正確的引數呼叫工具。這些引數通常取自對話紀錄,因此評估的目的是驗證擷取結果是否正確。

使用者詢問訂單狀態時,模型是否正確建議呼叫訂單查詢工具?



模型是否正確擷取使用者提供的訂單 ID,並將其傳給查詢工具?

多智慧體架構

隨著單一智慧體架構中的工具與任務增加,模型可能越來越難遵循指示,或無法選擇正確的工具來呼叫。多智慧體架構透過建立多個各有專長的智慧體來解決這個問題。多個智慧體之間的分流與交接也引入了新的非確定性來源。

是否採用多智慧體架構,應根據評估結果決定。一開始就採用多智慧體架構會增加不必要的複雜度,可能延後上線時間。

範例

將單一智慧體範例拆分為多智慧體架構後,會有四個各司其職的智慧體:

  1. 分流智慧體
  2. 訂單智慧體
  3. 帳戶管理智慧體
  4. 銷售智慧體

顧客詢問訂單狀態時,分流智慧體可以將對話交給訂單智慧體,讓它查詢訂單。如果顧客轉而詢問產品,訂單智慧體應將請求交回分流智慧體,再由分流智慧體轉交給銷售智慧體,以取得產品資訊。

非確定性對應的評估項目評估問題範例
開發者與使用者提供的輸入遵循指示:模型是否正確理解所收到的指示,並依照指示行動?

遵循指示:當使用者提示詞與系統提示詞衝突時,模型是否優先遵循系統提示詞?
模型是否專注於問題分流,還是會受到使用者提問的影響而偏離任務?

假設 lookup_order 呼叫已傳回結果,訂單智慧體是否傳回貨件追蹤號碼與送達日期(此處只檢查是否提供,不要求內容正確)?
模型產生的輸出功能正確性:模型的輸出是否準確、切題且足夠完整,能完成預定任務或達成目標?模型判定的意圖是否符合預期意圖?

假設 lookup_order 呼叫已傳回結果,訂單智慧體是否在回覆中提供正確的貨件追蹤號碼與送達日期?

訂單智慧體是否依照系統指示,在處理退貨前先詢問顧客申請退貨的原因?
模型選用的工具工具選擇:測試智慧體是否能選用正確的工具。

資料精確性:確認智慧體是否使用正確的引數呼叫工具。這些引數通常取自對話紀錄,因此評估的目的是驗證擷取結果是否正確。
訂單智慧體是否正確呼叫訂單查詢工具?

訂單智慧體是否正確呼叫 refund_order 工具?

訂單智慧體呼叫訂單查詢工具時,是否使用正確的訂單 ID?

帳戶管理智慧體是否正確呼叫 reset_password 工具,並傳入正確的帳戶 ID?
智慧體交接智慧體交接準確性:測試每個智慧體是否能正確判斷何時應將請求轉交給另一個智慧體。使用者詢問訂單狀態時,分流智慧體是否正確地將請求轉交給訂單智慧體?

使用者轉而談論最新產品時,訂單智慧體是否將控制權交回分流智慧體?

建立並搭配使用不同類型的評估器

自行設計評估時,有多種評估器可供選擇。選擇時,可以先思考你希望評估器扮演什麼角色。

以指標為基礎的評估

量化評估會產生數值分數,可用來篩選結果並排序,也能為自動化迴歸測試提供實用的基準。

  • 範例:完全相符、字串比對、ROUGE/BLEU 評分、函式呼叫準確率,以及可執行的評估(透過實際執行來評估功能或行為,例如 text2sql)
  • 挑戰:指標未必適合特定使用情境,也可能無法捕捉細微差異。

人工評估

由人員判斷的評估品質最高,但速度慢、成本高。

  • 範例:快速瀏覽系統輸出,初步判斷品質變好或變差。也可以設計隨機盲測,請員工、約聘人員或外部標註機構評判系統輸出的品質,例如將少量候選輸出依品質排序,或為每個輸出評定 1 到 5 分。
  • 挑戰:專家之間可能意見不一,評估成本高且耗時。
  • 建議:
    • 進行多輪細緻的人工審查,逐步修訂評分表。
    • 用實例說明評分標準,展示不同分數對應的輸出,例如滿分 10 分時,哪些輸出應評為 1 分、3 分或 8 分。
    • 除了數值分數,也要設定判定通過或不通過的門檻。
    • 彙整多位審查者的意見時,可以透過投票取得共識。

以 LLM 擔任評審與使用模型評分器

相較於人工評估,用模型評判輸出的成本較低,也更容易擴大規模。需要能力強的 LLM 評審時,可以先使用 gpt-6-astra,確認其判斷與人工標註一致後,再針對成本或延遲進行最佳化。

  • 範例:
    • 成對比較:向評審模型提供兩個回覆,請它依據特定標準判斷哪個較好。
    • 單一答案評分:評審模型單獨評估一個回覆,依據預先訂定的品質指標給予分數或等級。
    • 依參考答案評分:向評審模型提供參考答案或「黃金標準」答案,讓它以此為基準評估待評回覆。
  • 挑戰:位置偏差(受回覆排列順序影響)、篇幅偏差(偏好較長的回覆)。
  • 建議:
    • 採用成對比較或判定通過與否的方式,提高可靠性。
    • 盡可能使用能力最強的模型評分。先使用 gpt-6-astra,再依據你的評分規準或參考答案集,驗證專門的推理模型是否表現更好。
    • 控制回覆長度,因為 LLM 通常偏好較長的回覆。
    • 在評分流程中加入推理與思路鏈,讓模型先推理再評分,可改善評估表現。
    • 當 LLM 評審的速度比人工快、成本比人工低,且判斷結果持續與人工標註一致時,即可擴大評估規模。
    • 調整題型,讓題目可以自動評分,同時保留任務原本要測試的能力。常見的做法是將問題改寫成選擇題。
    • 確保評分規準清楚且詳細。

沒有哪種策略十全十美。以 LLM 擔任評審的品質會隨問題情境而變動,而聘請專家標註標準答案則成本高且耗時。

處理邊界案例

評估應涵蓋各種架構在主要情境下順利完成任務的流程。不過,實際運作的 AI 系統也經常遇到考驗系統表現的邊界案例。評估這些案例對於確保可靠性及良好的使用體驗相當重要。

這些邊界案例大致可分為以下幾類:

輸入的多樣性

模型接收使用者提供的輸入,因此系統必須能彈性處理不同的互動方式,例如:

  • 非英文或多語言輸入
  • 一般文字以外的輸入格式(例如 XML、JSON、Markdown、CSV)
  • 不同的輸入模態(例如影像)

評估模型遵循指示的能力與功能正確性時,必須涵蓋使用者可能嘗試的各種輸入。

上下文的複雜度

許多 LLM 應用程式之所以無法正確處理請求,是因為沒有充分理解請求的上下文。上下文可能來自使用者,也可能混入先前對話中的無關資訊。

例如:

  • 同一個請求包含多個問題或意圖
  • 打字或拼字錯誤
  • 請求簡短,幾乎沒有上下文(例如使用者只說「退貨」)
  • 上下文很長,或對話持續了很長時間
  • 工具呼叫傳回的資料含有意義不明確的屬性名稱(例如 "on: 123",其中「on」代表訂單編號)
  • 多次呼叫工具,有時會導致引數錯誤
  • 智慧體之間多次交接,有時會陷入循環

個人化與自訂

AI 能配合個別使用者的請求,改善使用體驗,但這種彈性也會帶來許多邊界案例。針對你明確要支援或阻擋的使用情境,清楚定義評估:

  • 試圖透過越獄讓模型做出偏離原定任務的行為
  • 格式要求(例如以 JSON 格式輸出,或使用項目符號列點)
  • 使用者提示詞與系統提示詞衝突的情況

利用評估改善表現

當評估流程已足夠成熟,能穩定衡量表現時,就可以運用評估資料來改善應用程式的表現。

其他資源

如需更多靈感,可瀏覽 OpenAI Cookbook,其中收錄了範例程式碼與第三方資源連結。也可以透過以下資源進一步瞭解我們的評估工具: