生成式 AI 的输出具有不确定性。即使输入相同,模型有时也会给出不同的输出,因此仅靠传统的软件测试方法不足以测试 AI 架构。通过评测(evals),您可以在存在这种不确定性的情况下测试 AI 系统。
本指南介绍设计评测的基本原则。如需开始使用 Evals API,请参阅评测模型表现。
OpenAI 正在逐步停用 Evals 平台。过渡期内,现有评测内容仍可访问。自 2026 年 10 月 31 日起,现有用户对 Evals 平台的访问权限变为只读。平台计划于 2026 年 11 月 30 日关闭。请参阅弃用公告了解最新时间安排。
什么是评测?
评测是用于衡量模型表现的结构化测试。尽管 AI 系统具有不确定性,评测仍能帮助您保障系统的准确性、性能和可靠性。对于基于 LLM 的应用,评测是少数几种能够改进应用表现的方法之一(可通过微调实现)。
评测的类型
“评测”可能指以下几种不同的测试或指标:
- 单独测试并比较模型的行业基准,例如 MMLU 以及 Hugging Face 排行榜上列出的基准
- 标准量化指标,例如 ROUGE 和 BERTScore。您可以在为自己的用例设计评测时使用这些指标
- 您为衡量 LLM 应用的表现而实施的具体测试
本指南介绍第三种类型,即如何设计自己的评测。
如何解读评测结果
评测分数通常在 0 到 1 之间。解读评测结果时,除了看分数,还要结合量化指标与人工判断,确保评测回答的是您真正关心的问题。
评测建议
- 采用评测驱动开发:尽早开始评测,并经常运行评测。在每个阶段编写范围明确的测试。
- 针对具体任务设计评测:让测试反映模型在真实数据分布下的能力。
- 全程记录日志:在开发过程中记录日志,以便从中发掘有价值的评测用例。
- 尽可能自动化:在设计评测时考虑如何实现自动评分。
- 持续开展评测:将评测贯穿开发和运行的全过程。
- 保持评分一致:利用人工反馈校准自动评分。
常见误区
- 指标过于笼统:仅依赖困惑度或 BLEU 分数等学术指标。
- 设计存在偏差:构建的评测数据集无法真实反映生产环境中的请求分布。
- 凭感觉评测:把“看起来能用”当作评测策略,或者等到上线后才开始实施评测。
- 忽视人工反馈:没有用人工评测结果校准自动评测指标。
设计评测流程
评测工作流包含以下几个重要环节:
- 明确评测目标。评测的成功标准是什么?
- 收集数据集。哪些数据有助于判断是否达到目标?可以考虑合成评测数据、特定领域的评测数据、购买的评测数据、人工精选的评测数据、生产数据和历史数据。
- 定义评测指标。您将如何检查是否达到成功标准?
- 运行评测并比较结果。通过迭代,改进模型在您的任务或系统中的表现。
- 持续评测。建立持续评测(CE)机制,每次变更都运行评测。监控应用,找出模型行为出现不确定性的新情况,并逐步扩充评测集。
下面来看几个示例。
示例:为转录文本生成摘要
要测试基于 LLM 的应用为转录文本生成摘要的能力,您可以按以下方式设计评测:
- 明确评测目标
模型生成的摘要应能在相关性和准确性上与参考摘要相媲美。 - 收集数据集
结合生产数据(来自用户对生成摘要的反馈)和领域专家(写作者)创建的数据集,确定什么样的摘要算得上“好”。 - 定义评测指标
在专门留作测试的 1000 组转录文本与参考摘要上,应用的 ROUGE-L 分数应至少达到 0.40,使用 G-Eval 测得的连贯性得分应至少达到 80%。 - 运行评测并比较结果
使用 Evals API 在 OpenAI 控制台中创建并运行评测。 - 持续评测
建立持续评测(CE)机制,每次变更都运行评测。监控应用,找出模型行为出现不确定性的新情况,并逐步扩充评测集。
LLM 更擅长辨别不同选项之间的差异。因此,设计评测时应侧重成对比较、分类或按具体标准评分等任务,而不是开放式生成任务。发挥 LLM 擅长比较的优势,无论是评估 LLM 输出还是比较模型,都能得到更可靠的结果。
示例:基于文档的问答
要测试基于 LLM 的应用根据文档回答问题的能力,您可以按以下方式设计评测:
- 明确评测目标
模型应能按需检索相关上下文,结合用户提示词进行推理,并给出准确且满足用户需求的回答。 - 收集数据集
结合三类数据:生产数据(来自用户对回答的满意度反馈)、针对领域专家所编问题预设的正确答案,以及日志中的历史数据。 - 定义评测指标
上下文召回率至少达到 0.85,上下文精确率高于 0.7,至少 70% 的回答获得好评。 - 运行评测并比较结果
使用 Evals API 在 OpenAI 控制台中创建并运行评测。 - 持续评测
建立持续评测(CE)机制,每次变更都运行评测。监控应用,找出模型行为出现不确定性的新情况,并逐步扩充评测集。
创建评测数据集时,
gpt-6.2-astra 可以帮助您收集评测样例和边界用例。您可以用它生成覆盖多种场景的多样化测试数据。确保测试数据包含典型用例、边界用例和对抗性用例,并请领域专家进行人工标注。
确定哪些环节需要评测
从基础架构转向更复杂的架构时,需要考虑的环节也会增多。以下是四种常见的架构模式:
阅读下文对各类架构的介绍,找出系统中引入不确定性的环节,并在这些环节实施评测。
单轮模型交互
在这类架构中,用户向模型提供输入。如果开发者也提供了提示词,模型会结合这些提示词处理输入,生成相应的输出。
示例
以在线零售为例。系统提示词要求模型对客户的问题进行分类,从以下类别中选出一项:
order_statusreturn_policytechnical_issuecancel_orderother
为确保用户体验一致、高效,模型应仅返回与用户意图匹配的标签。假设客户问:“我的订单现在是什么状态?”
| 不确定性的来源 | 对应的评测项 | 评测问题示例 |
|---|---|---|
| 开发者和用户提供的输入 | 指令遵循:模型能否准确理解并执行给定的指令? 指令遵循:当用户提示词与系统提示词冲突时,模型是否优先遵循系统提示词? | 模型会专注于请求分流,还是会受用户问题影响而偏离任务? |
| 模型生成的输出 | 功能正确性:模型的输出是否准确、切题且足够完整,能够完成预定任务或实现目标? | 模型识别出的意图是否与预期意图一致? |
工作流架构
为解决更复杂的问题,您可能会从单轮模型交互转向多步工作流,将多次模型调用串联起来。工作流不会引入新的不确定性来源,但其中包含多次模型交互,您可以分别评测每次交互。
示例
仍以前面客户询问订单状态的场景为例。采用工作流架构时,系统先对客户请求进行分流,再按以下步骤处理:
- 提取订单 ID
- 查询订单详情
- 将订单详情提供给模型,由模型生成最终答复
工作流的每个步骤都有各自的系统提示词,模型必须遵循这些提示词,将查到的所有数据整理成便于客户理解的答复。
| 不确定性的来源 | 对应的评测项 | 评测问题示例 |
|---|---|---|
| 开发者和用户提供的输入 | 指令遵循:模型能否准确理解并执行给定的指令? 指令遵循:当用户提示词与系统提示词冲突时,模型是否优先遵循系统提示词? | 模型会专注于请求分流,还是会受用户问题影响而偏离任务?
最终答复是否包含订单状态、预计送达日期和物流单号? |
| 模型生成的输出 | 功能正确性:模型的输出是否准确、切题且足够完整,能够完成预定任务或实现目标? | 模型识别出的意图是否与预期意图一致? 最终答复中的订单状态、预计送达日期和物流单号是否正确? |
单智能体架构
与工作流不同,智能体可以解决需要灵活决策的非结构化问题。智能体配有指令和一组工具,可以动态选择要使用的工具。工具选择由此成为新的不确定性来源。
工具是由开发者定义、可供模型执行的代码。工具可以是小型辅助函数,也可以调用现有服务的 API。例如,check_order_status(order_id) 可以作为一个工具,它接受参数 order_id,并调用 API 查询订单状态。
示例
现在用一个智能体来处理前面的客服场景。这个智能体可以使用三种不同的工具:
- 订单查询工具
- 密码重置工具
- 产品常见问题解答工具
当客户询问订单状态时,智能体会根据情况决定是调用工具还是回复客户。例如,如果客户问“我的订单现在是什么状态?”,智能体可以接着询问客户的订单 ID。这样的交互对用户来说更自然。
| 不确定性的来源 | 对应的评测项 | 评测问题示例 |
|---|---|---|
| 开发者和用户提供的输入 | 指令遵循:模型能否准确理解并执行给定的指令? 指令遵循:当用户提示词与系统提示词冲突时,模型是否优先遵循系统提示词? | 模型会专注于请求分流,还是会受用户问题影响而偏离任务? 模型是否按指令尝试提取订单 ID? |
| 模型生成的输出 | 功能正确性:模型的输出是否准确、切题且足够完整,能够完成预定任务或实现目标? | 模型识别出的意图是否与预期意图一致? |
| 模型选择的工具 | 工具选择:测试智能体能否选择正确的工具。 数据准确性:验证智能体是否使用正确的参数调用工具。这些参数通常提取自对话历史,因此评测要验证提取结果是否正确。 | 当用户询问订单状态时,模型能否正确建议调用订单查询工具? 模型能否正确提取用户提供的订单 ID 并传给查询工具? |
多智能体架构
随着单智能体架构中的工具和任务增多,模型可能难以遵循指令,或难以选对要调用的工具。多智能体架构通过设置多个各有专长的智能体来解决这一问题。多个智能体之间的请求分流和交接也会引入新的不确定性。
是否采用多智能体架构,应由评测结果决定。一开始就采用多智能体架构会增加不必要的复杂度,可能延缓上线。
示例
将前面的单智能体示例拆分为多智能体架构后,我们会得到四个不同的智能体:
- 分流智能体
- 订单智能体
- 账户管理智能体
- 销售智能体
当客户询问订单状态时,分流智能体可以将对话交给订单智能体,由它查询订单。如果客户转而询问某款产品,订单智能体应将请求交回分流智能体,再由分流智能体转给销售智能体获取产品信息。
| 不确定性的来源 | 对应的评测项 | 评测问题示例 |
|---|---|---|
| 开发者和用户提供的输入 | 指令遵循:模型能否准确理解并执行给定的指令? 指令遵循:当用户提示词与系统提示词冲突时,模型是否优先遵循系统提示词? | 模型会专注于请求分流,还是会受用户问题影响而偏离任务? 假设 lookup_order 调用已返回结果,订单智能体是否给出了物流单号和送达日期(此项仅检查是否提供这两项信息)? |
| 模型生成的输出 | 功能正确性:模型的输出是否准确、切题且足够完整,能够完成预定任务或实现目标? | 模型识别出的意图是否与预期意图一致? 假设 lookup_order 调用已返回结果,订单智能体是否在答复中给出了正确的物流单号和送达日期?订单智能体是否遵循系统指令,在处理退货前先询问客户申请退货的原因? |
| 模型选择的工具 | 工具选择:测试智能体能否选择正确的工具。 数据准确性:验证智能体是否使用正确的参数调用工具。这些参数通常提取自对话历史,因此评测要验证提取结果是否正确。 | 订单智能体是否正确调用了订单查询工具? 订单智能体是否正确调用了 refund_order 工具?订单智能体调用订单查询工具时,使用的订单 ID 是否正确? 账户管理智能体是否正确调用了 reset_password 工具,并传入了正确的账户 ID? |
| 智能体交接 | 智能体交接准确性:测试每个智能体能否准确判断何时应将请求转交给另一个智能体。 | 当用户询问订单状态时,分流智能体是否将请求正确转交给订单智能体? 当用户转而谈论最新产品时,订单智能体是否将控制权交回分流智能体? |
创建并组合不同类型的评测器
设计自己的评测时,您可以选择多种类型的评测器。选择时,也可以考虑您希望评测器发挥什么作用。
基于指标的评测
量化评测给出数值分数,您可以据此筛选结果并排序。这些分数也可以作为自动化回归测试的基准。
- 示例:完全匹配、字符串匹配、ROUGE/BLEU 评分、函数调用准确率、可执行评测(通过实际执行来检验功能或行为,例如 text2sql)
- 挑战:可能不适合具体用例,也可能忽略细微差别
人工评测
依靠人工判断的评测质量最高,但速度慢、成本高。
- 示例:快速浏览系统输出,初步判断质量是变好还是变差。也可以设计随机盲测,让员工、承包商或外部标注机构判断系统输出的质量(例如,对一小组候选输出进行排序,或按 1 至 5 分为每个输出评分)
- 挑战:专家之间可能意见不一,评测成本高、耗时长
- 建议:
- 开展多轮细致的人工评审,逐步完善评分表
- 用样例说明评分标准,例如,展示在 10 分制下分别得 1 分、3 分和 8 分的输出
- 除数值分数外,还应设定判定是否通过的阈值
- 汇总多位评审者的意见时,可以通过投票形成共识
LLM 评审与模型评分器
使用模型评判输出,比人工评测成本更低,也更容易扩大规模。如果您需要能力较强的 LLM 评审,可以先使用 gpt-6.2-astra,验证其评判结果与人工标注的一致性后,再优化成本或延迟。
- 示例:
- 成对比较:向评审模型提供两个回答,让它根据具体标准判断哪个更好
- 单个回答评分:评审模型单独评估一个回答,根据预先定义的质量指标给出分数或等级
- 参照答案评分:向评审模型提供参考答案或“金标准”答案,让它以此为基准评估给定的回答
- 挑战:位置偏差(回答的排列顺序会影响判断)、篇幅偏差(偏好较长的回答)
- 建议:
- 采用成对比较或判断是否通过的方式,提高评测可靠性
- 尽可能使用能力最强的模型评分。可以先使用
gpt-6.2-astra,再验证专门的推理模型在使用您的评分细则或参考答案集时是否表现更好 - 控制回答长度,因为 LLM 通常更偏好较长的回答
- 在评分流程中加入推理和思维链,让模型先推理再评分,可以改善评测效果
- 当 LLM 评审比人工评测更快、成本更低,并能持续给出与人工标注一致的结果时,再扩大评测规模
- 在保持任务完整性的前提下调整题目形式,使其可以自动评分。常见做法是将题目改为选择题
- 确保评分细则清晰、详尽
每种策略都有局限。由 LLM 担任评审时,评测质量会随具体问题和上下文而变化。请专家进行人工标注以提供标准答案或标签,则成本高且耗时长。
处理边界用例
对于每种架构,评测都应覆盖按预期顺利完成任务的主要场景。实际运行的 AI 系统还经常遇到考验系统表现的边界用例。评测这些用例有助于确保系统可靠,并提供良好的用户体验。
常见的边界用例可分为以下几类。
输入的多样性
模型的输入来自用户,因此系统必须能够灵活处理用户的不同交互方式,例如:
- 非英语输入或多语言输入
- 普通文本以外的输入格式(例如 XML、JSON、Markdown、CSV)
- 不同的输入模态(例如图像)
评测指令遵循和功能正确性时,需要覆盖用户可能尝试的输入。
上下文的复杂性
许多基于 LLM 的应用出错,是因为没有正确理解请求的上下文。相关信息可能来自用户当前的输入,过去的对话记录也可能带来干扰。
例如:
- 一条请求中包含多个问题或意图
- 打字错误和拼写错误
- 上下文很少的简短请求(例如,用户只说“退货”)
- 很长的上下文或持续很久的对话
- 工具调用返回的数据中,属性名含义不明确(例如
"on: 123",其中“on”表示订单号) - 多次调用工具,有时会导致参数错误
- 智能体多次交接,有时会导致循环交接
个性化与自定义
AI 可以根据每位用户的具体请求调整行为,从而改善用户体验,但这种灵活性也会带来许多边界用例。对于您希望支持或阻止的特定用例,应明确界定相应的评测要求:
- 试图通过越狱诱使模型偏离预定任务
- 对输出格式的要求(例如,使用 JSON 格式或项目符号列表)
- 用户提示词与系统提示词冲突的情况
使用评测改进应用表现
当评测流程足够成熟,能够稳定地衡量应用表现时,就可以将重点转向利用评测数据改进应用表现。
其他资源
如需更多思路,请访问 OpenAI Cookbook,其中包含示例代码和第三方资源链接。您也可以进一步了解我们的评测工具: