如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

评估智能体工作流

使用追踪记录、评分器、数据集和评估运行来提升智能体的表现。

OpenAI 平台提供了一套评估工具,帮助您确保智能体在多次运行中都能稳定、准确地执行任务。

您可以根据本页说明,为智能体工作流选择合适的评估工具。

调试工作流行为时,先查看追踪记录

对追踪记录进行评分,是定位工作流层面问题最快的方法。每条追踪记录都完整记录了工作流一次运行中的模型调用、工具调用、安全防护和任务交接情况。您可以使用评分器按结构化标准为这些记录打分,从而在大量运行中发现回归问题和失败模式。

您可以通过追踪评分回答以下问题:

  • 智能体是否选对了工具?
  • 任务是否在预期的时机完成了交接?
  • 工作流是否违反了指令或安全策略?
  • 修改提示词或路由后,工作流的整体表现是否有所改善?

追踪评分流程

  1. 在控制台中打开日志 > 追踪记录。
  2. 检查一条有代表性的工作流追踪记录。您可以从基于 SDK 构建的应用中选取记录,也可以在过渡期内从现有的 Agent Builder 工作流中选取。
  3. 创建评分器,并用它为选定的追踪记录打分。
  4. 根据评分结果改进提示词、工具接口、路由逻辑或安全防护措施。

如果您使用 SDK 编写工作流,请先参阅集成与可观测性,获取有助于定位问题的追踪记录,再正式定义评分器。

需要重复评估时,使用数据集和评估运行

明确工作流应达到什么标准后,您就可以从检查单条追踪记录转向使用同一数据集反复运行评估。这种方式适合对改动进行基准测试、比较不同的提示词,或持续开展更大规模的评估。

如果您需要评估外部模型、调用评估 API 或开展更大规模的批量评估等高级功能,可以将数据集与评估工具结合使用。

相关评估资源

评估入门:数据集

根据评估结果持续改进,并通过下一轮评估验证改进效果。

使用评估工具

了解如何评估外部模型、通过 API 管理评估,以及使用其他评估功能。

提示词优化器

使用您的数据集自动优化提示词。

Cookbook:通过评估编写更稳健的提示词

根据评估结果持续改进,并通过下一轮评估验证改进效果。