如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

引用格式

让模型生成可靠的引用。

可靠的引用有助于赢得读者的信任,也方便读者核实回答是否准确。本指南介绍如何准备可引用的材料,以及如何使用 OpenAI 模型熟悉的格式,指导模型正确生成引用。

概述

构建引用系统涉及多个环节。您需要确定哪些材料可以引用,以清晰的形式呈现这些材料,指导模型如何引用,并在向用户展示回答之前验证引用结果。

本指南介绍与模型直接相关的五个核心环节:

  1. 可引用单元:定义模型可以引用哪些内容。
  2. 材料的呈现方式:以清晰、结构化的格式提供来源材料。
  3. 引用格式:指定模型生成引用时应遵循的确切格式。
  4. 提示词中的指令:告诉模型何时需要引用,以及如何正确引用。
  5. 引用解析:从模型的回答中提取引用,供后续处理使用。

选择可引用单元

在编写提示词之前,请先明确定义模型可以引用哪些内容。常见选项包括:

可引用单元 适用场景 局限 示例
文档 只需说明回答出自哪份文档。 不够精确。 如果只需指出哪份文档支持某个说法,可以引用整本员工手册。
文本块 / 分块 需要兼顾简便性和精确性。 仍无法精确到行。 引用包含相关条款的具体合同段落或检索到的文本块。
行范围 需要指出作为依据的具体原文。 模型处理起来更困难。 用户需要核实具体段落时,引用 L42-L47 这些行。

选择可引用单元时,应满足以下要求:

  • 标识一致:同一来源在每次运行时都应使用相同的 ID。
  • 便于核查:读者应能阅读该单元并理解其上下文。
  • 大小适中:内容要足以让读者理解其含义,范围也要足够小,以便精确引用。

对于大多数系统,默认采用块级引用最为合适。模型处理块级引用通常比处理行级引用更容易,而对用户来说,块级引用比文档级引用更有用。

呈现可引用材料

如果材料没有清晰地呈现给模型,模型就无法引用它。无论材料由工具返回还是直接注入,都应确保材料包含以下内容:

  • 稳定的来源 ID:使用一致的标识符,例如 file1 或 block1。
  • 易读的文本:以清晰的格式呈现来源材料。
  • 元数据(可选):URL、时间戳、标题等上下文信息。

来源 ID 与定位符:来源 ID 是模型生成的稳定标识符,例如 block1。定位符指定界面上高亮显示的具体位置,例如 lines L8-L13 或 Paragraph 21。通常,模型应输出来源 ID,由您的系统解析定位符或显示对应位置。过早混用两者容易导致更多格式错误。

定义引用格式

您需要定义模型生成引用时使用的格式。格式应明确、一致,便于模型稳定地生成符合要求的引用。

下表列出了推荐的引用格式及标记。我们强烈建议使用这些引用标记,因为它们与模型训练时使用的标记非常接近。如果您选择其他标记值,请尽量保持整体引用格式相似。

组成部分 作用 推荐值
CITATION_START 表示引用标记的开始。 \ue200
引用类别 标识引用类型。对所有支持的来源统一使用 cite。 cite
CITATION_DELIMITER 分隔标记内的字段。 \ue202
来源 ID 标识被引用的单元。turn# 表示轮次编号,item# 表示具体的文件、文本块或 URL。 turn0file1、turn0block1、turn0url1
定位符(可选) 将引用范围缩小到具体的一段内容。 L8-L13
CITATION_STOP 表示引用标记的结束。 \ue201

调用工具时,每调用一次,turnN 就递增一次。一次调用即使返回多个结果,也只递增一次。同一次调用返回的各个来源通过 file0、file1 等后缀区分。在只生成一次回答的系统中,只有当模型在回答前恰好调用一次工具时,所有引用才都会以 turn0… 开头。如果模型多次调用工具,您可能会看到 turn0fileX、turn1fileX 等引用。

模板

{CITATION_START}<citation_family>{CITATION_DELIMITER}<source_id>{CITATION_DELIMITER}<locator>{CITATION_STOP}

示例

{CITATION_START}cite{CITATION_DELIMITER}turn0file1{CITATION_DELIMITER}L8-L13{CITATION_STOP}

如果您的系统不使用定位符,请省略该字段:

{CITATION_START}cite{CITATION_DELIMITER}turn0file1{CITATION_STOP}

编写有效的引用指令

为尽可能保证准确性,请使用模型熟悉的引用格式。自定义格式或模型不熟悉的格式会增加模型的处理负担,导致引用错误,尤其是在以下情况下:

  • 推理投入较低时,模型可用于纠正格式错误的推理预算较少。
  • 任务复杂度较高时,模型会将大部分推理预算用于解决任务本身,能用于修正引用语法的预算较少。

下面推荐的引用格式接近模型熟悉的格式。您可以直接使用,也可以根据自己的系统进行调整。

如果您想自行编写提示词,请明确说明:

  • 引用标记的确切语法。
  • 引用应放在什么位置。
  • 何时应引用,何时不应引用。
  • 有多个来源提供依据时,如何引用。
  • 禁止使用哪些格式。
  • 缺少依据时应如何处理。

解析引用

模型输出引用后,您需要从回答文本中提取引用,以便解析来源 ID、渲染链接,或在向用户展示回答前移除原始标记。

您可以将下面的辅助函数直接复制到应用中使用。它可以解析单来源引用、多来源引用以及可选的行范围定位符,同时保留引用在原文中的字符偏移量。

此示例仅支持行定位符。如果您的系统使用其他定位符格式,请相应调整代码。

如果您的来源 ID 使用其他格式,请更新 SOURCE_ID_RE,使其与系统中的格式匹配。

示例

以下示例展示了两种常见的引用方式:

  • 引用工具检索的上下文:工具返回可引用的材料及其 ID。
  • 引用注入的上下文:您直接在提示词中提供可引用的文本块。

为工具检索的上下文设置引用格式

当模型通过工具检索上下文,并在回答中引用检索到的内容时,可以使用这种方式。

定义可引用单元

请根据使用场景所需的精确程度选择可引用单元。以下示例展示了几种可能的工具输出。

下面列出了几种推荐的工具输出格式。不同应用使用的工具可能有所不同,最重要的是像示例中那样,以清晰、稳定的结构呈现输出。

编写提示词中的指令

## 引用

结果由“tool_1”返回。`tool_1` 返回的每条消息都称为一个“来源”。消息中首次匹配 `turn\\d+file\\d+` 的字符串(例如 `turn0file0` 或 `turn2file1`)就是该来源的引用 ID。在这个例子中,字符串 `turn0file0` 就是来源的引用 ID。

引用指向 `tool_1` 返回的来源。可以引用单个来源,也可以引用多个来源。

引用单个来源时,必须使用以下格式:
{CITATION_START}cite{CITATION_DELIMITER}turn\d+file\d+{CITATION_STOP}

如果支持行级引用,引用具体行范围时必须使用以下格式:
{CITATION_START}cite{CITATION_DELIMITER}turn\d+file\d+{CITATION_DELIMITER}L\d+-L\d+{CITATION_STOP}

引用多个来源时,必须分别输出引用标记,每个提供依据的来源各用一个标记。

在回答正文中,`turn0file0` 这样的引用 ID 必须写在 {CITATION_START}...{CITATION_STOP} 之间,严禁直接写出裸 ID。

- 将引用放在它所支持的句子末尾。如果句子较长,且其中有多个分句各有依据,可以将引用放在相应分句之后。
- 引用必须放在标点符号之后。
- 只引用检索到的、能直接支持相应文字的来源。
- 严禁编造工具未返回的来源 ID、行范围或文本块定位符。
- 如果检索到的多个来源都为某一说法提供了实质性依据,必须全部引用。
- 如果检索到的来源之间存在分歧,应引用有分歧的各方来源,并准确说明分歧所在。

输出示例:

The on-call handoff process is documented in the weekly support sync notes. \ue200cite\ue202turn0file0\ue202L8-L13\ue201

为注入的上下文设置引用格式

如果您提前检索或准备好上下文,并将其直接注入提示词,可以使用这种方式。

定义可引用单元

对于注入的上下文,一种常见做法是用带有稳定引用 ID 的显式标签包裹各段来源材料。

<BLOCK id="block1">
The service agreement states that termination for convenience requires thirty (30) days’ written notice, unless superseded by a customer-specific addendum.
In practice, renewal terms auto-extend for successive one-year periods when no written non-renewal notice is received before the deadline.
Appendix B further clarifies that pricing exceptions must be approved in writing by both Finance and the account owner.
</BLOCK>

<BLOCK id="block2">
Syllabus
</BLOCK>
...

这样可以清楚地标明每个可引用单元,便于模型引用。

编写提示词中的指令

## 引用

提示词直接以可引用单元的形式提供上下文,作为回答的依据。对于每个单元,取首次出现的对应标签中的 `id` 属性值作为标识符。例如,在 `<BLOCK id="block5"> ... </BLOCK>` 中,`block5` 就是来源的引用 ID。

这种方式不调用工具,因此无需递增工具调用轮次计数,也无需在引用标记中使用 `turn#` 前缀。如果系统的其他部分使用 `turn0block5` 这样的 ID,可以沿用该格式,也可以像本例一样直接使用 `block5`。无论采用哪种格式,引用标记中的 ID 都必须始终与注入的上下文 ID 完全一致。

引用指向提示词中提供的可引用单元。可以引用单个来源,也可以引用多个来源。

引用单个来源时,必须使用以下格式:
{CITATION_START}cite{CITATION_DELIMITER}<block_id>{CITATION_STOP}

例如:
{CITATION_START}cite{CITATION_DELIMITER}block5{CITATION_STOP}

引用多个来源时,必须分别输出引用标记,每个提供依据的文本块各用一个标记。

在回答正文中,文本块 ID 必须写在 {CITATION_START}...{CITATION_STOP} 之间,严禁直接写出裸 ID。

- 将引用放在它所支持的句子末尾。如果句子较长,且其中有多个分句各有依据,可以将引用放在相应分句之后。
- 引用必须放在标点符号之后。
- 只引用给定上下文中出现的文本块。
- 严禁编造新的文本块 ID。
- 严禁引用外部知识或外部权威来源。
- 如果多个文本块都为某一说法提供了实质性依据,必须全部引用。
- 如果给定的文本块之间存在冲突,应引用相互冲突的文本块,并准确说明冲突所在。

输出示例:

The Court held that the District Court lacked personal jurisdiction over the petitioner. \ue200cite\ue202block5\ue201

注意:OpenAI 托管的工具(例如网页搜索)会自动提供行内引用。如果您希望改用托管工具,请参阅 工具概述、 网页搜索指南和 文件搜索指南。