如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

Promptfoo 入门

在 CLI 中或使用 Codex 运行您的首次评估。

使用开源库 Promptfoo 对 AI 应用和智能体进行评估和红队测试。您可以定义测试用例和检查项,衡量应用的行为表现,比较不同的提示词或模型,并排查失败原因。您还可以使用对抗性输入探测应用,发现安全风险。

Promptfoo 是 OpenAI 的一部分。

本指南从一项小型评估入手。您可以在终端中运行翻译示例,也可以让 Codex 为您的应用设置评估。

从 CLI 开始

安装 Node.js 22.22.0 或更高版本后,选择一种方式运行 Promptfoo 示例。该示例使用测试用例比较不同模型的翻译结果:

安装方式
npx promptfoo@latest init --example getting-started
cd getting-started

该示例会创建 promptfooconfig.yaml,其中包含翻译提示词、模型提供方和测试用例。每个测试用例都包含一个断言,用于检查输出中是否含有预期的短语。在终端中设置 OpenAI API 密钥时,请将占位符替换为您的密钥:

export OPENAI_API_KEY="<your-api-key>"

运行评估,然后打开结果查看器。评估会调用模型,并产生 API 费用。

运行方式
npx promptfoo@latest eval
npx promptfoo@latest view

打开本地 URL,比较各模型的输出,并查看哪些断言通过、哪些失败。请同时检查输出内容。断言通过只表示输出满足某个特定条件,无法反映回复的整体质量。编辑 promptfooconfig.yaml 中的提示词或测试用例,然后重新运行评估。

Promptfoo 评估结果,比较了 GPT-6.1 Sol(推理强度为中)和 GPT-6 Luna(推理强度为高)在 12 项编程任务中的表现,包括正确性和延迟检查。

另一项 Codex App Server 评估比较了 gpt-6.1-sol(推理强度为中)和 gpt-6-luna(推理强度为高)在 12 项编程任务中的表现。每项任务的评估结果取决于两项条件:代码能否通过可执行的正确性检查,以及任务能否在 30 秒内完成。所有实现都通过了代码检查,标红的结果表示用时超过了 30 秒。

从 Codex App 开始

使用 Promptfoo 插件,让 Codex 获得设置和运行评估所需的技能。

选择在 Codex 中打开即可开始新任务,也可以选择复制提示词,然后将提示词粘贴到现有任务中。

入门提示词
请使用 Promptfoo 评估并改进此应用中的一项重要 AI 工作流。 阅读代码仓库中的说明,并复用已有的评估配置。选择一项用户能直接体验到的行为进行测试。如果目标不明确,请向我确认。根据应用接收的输入构建测试用例,覆盖常见请求、边界情况和对抗性输入。用断言检查行为是否符合预期,并以此定义成功标准。 先运行基线评估,分析失败的用例,然后针对提示词或配置做一处改动并测试效果。使用相同的用例和断言比较两个版本。报告哪些方面有所改善、哪些方面有所退步。如果有延迟和成本数据,也请一并报告。保持断言不变,确保结果具有可比性。 打开评估结果并展示图表。给出几个具体示例,对比改动前后的表现,并建议保留哪个版本。如果改动没有改善结果,请如实说明。

Codex 可能需要您提供凭据或授予配置所需的权限。调用模型的评估可能会产生 API 费用。

后续步骤

请参阅 Promptfoo 文档,了解后续操作:

  • 配置评估:按照配置指南设置提示词、模型和测试用例。
  • 检查输出:参阅断言和指标,选择检查项和评分方法。
  • 检测安全风险:按照红队测试指南使用对抗性输入探测您的应用。