OpenAI 平台提供了一套评估工具,帮助您确保智能体在多次运行中都能稳定、准确地执行任务。
您可以根据本页说明,为智能体工作流选择合适的评估工具。
调试工作流行为时,先查看追踪记录
对追踪记录进行评分,是定位工作流层面问题最快的方法。每条追踪记录都完整记录了工作流一次运行中的模型调用、工具调用、安全防护和任务交接情况。您可以使用评分器按结构化标准为这些记录打分,从而在大量运行中发现回归问题和失败模式。
您可以通过追踪评分回答以下问题:
- 智能体是否选对了工具?
- 任务是否在预期的时机完成了交接?
- 工作流是否违反了指令或安全策略?
- 修改提示词或路由后,工作流的整体表现是否有所改善?
追踪评分流程
- 在控制台中打开日志 > 追踪记录。
- 检查一条有代表性的工作流追踪记录。您可以从基于 SDK 构建的应用中选取记录,也可以在过渡期内从现有的 Agent Builder 工作流中选取。
- 创建评分器,并用它为选定的追踪记录打分。
- 根据评分结果改进提示词、工具接口、路由逻辑或安全防护措施。
如果您使用 SDK 编写工作流,请先参阅集成与可观测性,获取有助于定位问题的追踪记录,再正式定义评分器。
需要重复评估时,使用数据集和评估运行
明确工作流应达到什么标准后,您就可以从检查单条追踪记录转向使用同一数据集反复运行评估。这种方式适合对改动进行基准测试、比较不同的提示词,或持续开展更大规模的评估。
如果您需要评估外部模型、调用评估 API 或开展更大规模的批量评估等高级功能,可以将数据集与评估工具结合使用。
相关评估资源
评估入门:数据集
根据评估结果持续改进,并通过下一轮评估验证改进效果。
使用评估工具
了解如何评估外部模型、通过 API 管理评估,以及使用其他评估功能。
提示词优化器
使用您的数据集自动优化提示词。
Cookbook:通过评估编写更稳健的提示词
根据评估结果持续改进,并通过下一轮评估验证改进效果。