元数据为什么重要
ChatGPT 和 Codex 根据您提供的元数据判断何时调用您的工具。清晰的工具名称、描述和参数说明可以提高工具在相关提示词上的召回率,减少误调用。请像打磨产品文案一样打磨元数据,根据测试结果和使用数据持续改进。
收集基准提示词
在调整元数据之前,请先整理一组带标签的提示词:
- 直接提示词: 用户明确提到您的产品或数据源的名称。
- 间接提示词: 用户描述想要的结果,但没有提到您的工具名称。
- 负例提示词: 请求应由内置工具或其他工具处理。
记录每条提示词对应的预期行为(调用您的工具、不采取任何操作或使用其他工具)。回归测试时,您会再次用到这组提示词。
编写能指导模型选择工具的元数据
为每个工具编写元数据时,请按以下方式填写:
- 名称: 将业务领域与操作组合起来(
calendar.create_event)。 - 描述: 以“在以下情况下使用此工具……”开头,并明确列出禁止使用的场景(例如“请勿用于设置提醒”)。
- 参数说明: 说明每个参数的含义并给出示例。对于取值受限的输入,请使用允许的值。
- 只读提示: 如果工具仅检索信息或进行计算,从不创建、更新或删除数据,也不向对话外部发送数据,请标注
readOnlyHint: true。 - 破坏性操作提示: 如果工具不会删除或覆盖用户数据,请标注
destructiveHint: false。 - 开放范围提示: 如果工具访问公共互联网,或可访问的外部对象没有固定范围,请标注
openWorldHint: true。这也适用于网页搜索等只读工具。如果工具的访问范围仅限于特定的私有账户或工作空间,请使用false,即使该服务托管在外部也一样。
评估您的自定义 MCP 服务器
- 在 ChatGPT 中连接您的自定义 MCP 服务器,并安装由此生成的插件。
- 逐条测试基准提示词并记录结果:模型选择了哪个工具、传入了哪些参数,以及组件是否成功渲染。
- 针对每条提示词,跟踪精确率(模型调用的工具是否正确)和召回率(模型是否在应该调用该工具时调用了它)。
如果模型选错了工具,请修改描述,突出工具的适用场景,或缩小工具的适用范围。
逐步调整并验证
- 每次只修改一个元数据字段,以便确定是哪项改动带来了改善。
- 记录每次修改的内容、时间和测试结果。
- 将修改前后的差异发给审阅者,以便在部署前发现有歧义的表述。
每次修改后都要重新评估。优先让模型在负例提示词上达到较高的精确率,再争取小幅提升召回率。
生产环境监控
MCP 服务器上线后,请执行以下操作:
- 每周查看工具调用的统计数据。如果用户确认“选错了工具”的次数激增,通常说明元数据与工具的实际适用场景出现了偏差。
- 收集用户反馈,并更新工具描述,澄清常见误解。
- 定期重新运行提示词测试,尤其是在添加新工具或更改结构化字段之后。
元数据需要持续维护。措辞越准确,评估越细致,模型就越容易发现并调用合适的工具。