如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

Promptfoo 入門

使用 CLI 或 Codex 執行第一次評估。

使用開放原始碼函式庫 Promptfoo,為 AI 應用程式和智慧體進行評估與紅隊演練。你可以定義測試案例與檢查條件,衡量應用程式的表現、比較提示詞或模型,並調查測試失敗的原因。你也可以用對抗性輸入測試應用程式,找出安全風險。

Promptfoo 是 OpenAI 的一部分。

本指南從小型評估開始。你可以在終端執行翻譯範例,或請 Codex 為你的應用程式設定評估。

從 CLI 開始

安裝 Node.js 22.22.0 或更新版本後,選擇一種方式執行 Promptfoo 範例。這個範例會根據測試案例,比較不同模型的翻譯結果:

安裝方式
npx promptfoo@latest init --example getting-started
cd getting-started

這個範例會建立 promptfooconfig.yaml,其中包含翻譯提示詞、模型供應商和測試案例。每個測試都有一個斷言,用來檢查輸出是否包含預期的詞句。在終端設定 OpenAI API 金鑰時,請將預留位置換成你的金鑰:

export OPENAI_API_KEY="<your-api-key>"

執行評估後,開啟結果檢視器。這項評估會呼叫模型,因此會產生 API 費用。

執行方式
npx promptfoo@latest eval
npx promptfoo@latest view

開啟本機網址,比較各模型的輸出,並查看哪些斷言通過、哪些失敗。也請仔細檢視輸出內容。斷言通過只代表輸出符合特定條件,無法據此判斷回應的整體品質。修改 promptfooconfig.yaml 中的提示詞或測試案例,再執行一次評估。

Promptfoo 評估結果,比較 GPT-6.1 Sol(推理強度設為「中」)和 GPT-6 Luna(推理強度設為「高」)在 12 項程式設計任務中的正確性與延遲。

另一項 Codex App Server 評估使用 12 項程式設計任務,比較 gpt-6.1-sol(推理強度設為「中」)和 gpt-6-luna(推理強度設為「高」)的表現。每項任務都會執行程式碼正確性檢查,並檢查是否在 30 秒內完成。所有實作都通過了程式碼檢查,標紅的結果表示超過時限。

從 Codex App 開始

使用 Promptfoo 外掛程式,讓 Codex 具備設定與執行評估的技能。

選取 在 Codex 中開啟 即可開始新任務,或選取 複製提示詞,將提示詞貼到現有任務中。

入門提示詞
請使用 Promptfoo 評估並改善這個應用程式中的一項重要 AI 工作流程。 先閱讀程式碼庫中的指示,並沿用現有的評估設定。選擇一項使用者能觀察到的行為進行測試。如果目標不明確,請先詢問我。根據應用程式接受的輸入建立測試案例,涵蓋常見請求、邊界案例和對抗性輸入。用斷言定義成功條件,檢查應用程式的行為是否符合預期。 先執行基準評估,檢視失敗案例,再針對發現的問題修改一處提示詞或設定,並測試這項變更。使用相同的案例和斷言比較兩個版本。說明哪些表現有所改善、哪些退步了。如果有延遲與成本資料,也請一併列出。請維持斷言不變,讓比較結果具有意義。 開啟評估結果並以圖表呈現。列舉幾個具體例子,對照修改前後的結果,並建議保留哪個版本。如果這項變更沒有改善結果,請直接說明。

Codex 可能需要你協助提供憑證或授予設定所需的權限。執行會呼叫模型的評估可能會產生 API 費用。

後續步驟

請參閱 Promptfoo 文件,進一步瞭解如何:

  • 設定評估: 依照設定指南設定提示詞、模型和測試案例。
  • 檢查輸出: 參閱斷言與指標,選擇檢查條件與評分方式。
  • 測試安全風險: 依照紅隊演練指南,使用對抗性輸入測試應用程式。