如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

引用格式

讓模型產生可靠的引用。

可靠的引用有助於建立信任,也方便讀者核實回應內容。本指南說明如何準備可引用的資料,以及如何在提示詞中使用 OpenAI 模型熟悉的格式,讓模型正確標註來源。

概覽

設計引用系統時,你需要決定哪些資料可以引用、清楚呈現這些資料、指示模型如何引用,並在向使用者顯示回應前驗證引用結果。

本指南涵蓋五個與模型直接相關的要素:

  1. 可引用單位:定義模型可以引用哪些內容。
  2. 資料呈現方式:以清楚、有結構的格式呈現來源資料。
  3. 引用格式:明確指定模型應使用的引用格式。
  4. 提示詞指示:告訴模型何時需要引用,以及如何正確標註來源。
  5. 引用解析:從模型回應中擷取引用,供後續處理使用。

選擇可引用單位

撰寫提示詞前,請先明確定義模型可以引用哪些內容。常見選項如下:

可引用單位 適用情境 限制 範例
文件 只需指出答案出自哪份文件。 精確度較低。 如果只需指出哪份文件支持某項說法,可以引用整本員工手冊。
區塊/片段 需要兼顧簡易性與精確度。 無法精確到行。 引用含有該條款的合約段落,或檢索到的對應片段。
行範圍 需要指出作為依據的確切原文。 對模型而言難度較高。 當使用者需要核對特定段落時,引用 L42-L47。

理想的可引用單位應具備以下特性:

  • 識別方式一致:每次執行時,同一來源都應保有相同的 ID。
  • 容易查閱:讀者應能閱讀該單位的內容並理解其上下文。
  • 大小適中:內容要足以表達完整意思,範圍也要夠小,才能精確指出依據。

對大多數系統而言,預設以區塊為單位最合適。與逐行標註相比,模型通常更容易引用區塊。與引用整份文件相比,引用區塊也更方便使用者查閱。

呈現可引用資料

如果資料呈現得不夠清楚,模型就無法引用。無論資料由工具傳回,還是直接加入提示詞,都請確保資料包含以下項目:

  • 穩定的來源 ID:使用一致的識別碼,例如 file1 或 block1。
  • 易讀的文字:以清楚的格式呈現來源內容。
  • 中繼資料(選用):網址、時間戳記、標題等有助於理解上下文的資訊。

來源 ID 與定位資訊:來源 ID 是由模型產生的穩定識別碼,例如 block1。定位資訊則指出使用者介面中要醒目標示的確切位置,例如 lines L8-L13 或 Paragraph 21。一般而言,模型應輸出來源 ID,由系統解析定位資訊或標示對應位置。太早將兩者混用,容易增加格式錯誤。

定義引用格式

你需要明確定義模型應產生的引用格式。格式應清楚、一致,讓模型能穩定地重現。

下表列出建議的引用格式與標記。我們強烈建議採用這些標記,因為它們與模型訓練時使用的標記非常接近。如果選擇其他標記值,請盡量維持相似的整體引用格式。

組成項目 用途 建議值
CITATION_START 表示引用標記的開頭。 \ue200
引用類別 指出引用類型。所有支援的來源一律使用 cite。 cite
CITATION_DELIMITER 分隔標記內的欄位。 \ue202
來源 ID 識別引用的單位。turn# 是回合編號,item# 則代表特定檔案、區塊或網址。 turn0file1, turn0block1, turn0url1
定位資訊(選用) 將引用範圍縮小到特定片段。 L8-L13
CITATION_STOP 表示引用標記的結尾。 \ue201

每呼叫一次工具,turnN 就遞增一次。同一次呼叫傳回多筆結果時,編號只遞增一次,各個來源以 file0、file1 等後綴區分。在只產生一次回應的系統中,只有當模型在回答前恰好呼叫一次工具時,所有引用的來源 ID 才都會以 turn0… 開頭。如果模型多次呼叫工具,你可能會看到 turn0fileX、turn1fileX 等來源 ID。

範本

{CITATION_START}<citation_family>{CITATION_DELIMITER}<source_id>{CITATION_DELIMITER}<locator>{CITATION_STOP}

範例

{CITATION_START}cite{CITATION_DELIMITER}turn0file1{CITATION_DELIMITER}L8-L13{CITATION_STOP}

如果系統不使用定位資訊,請省略該欄位:

{CITATION_START}cite{CITATION_DELIMITER}turn0file1{CITATION_STOP}

撰寫有效的引用指示

為了讓引用盡可能準確,請使用模型熟悉的引用格式。自訂或不熟悉的格式會增加模型的認知負擔,導致引用錯誤,尤其是在以下情況:

  • 推理投入較低時,模型能用來修正格式錯誤的推理預算較少。
  • 任務複雜度高時,模型會將大部分推理預算用於解決任務本身,只剩少量預算可用來修正引用語法。

以下建議的引用格式接近模型熟悉的格式。你可以直接採用,也可以依系統需求調整。

如果要自行撰寫提示詞,請明確說明:

  • 標記的確切語法。
  • 引用應放在哪裡。
  • 何時應引用、何時不應引用。
  • 有多個來源支持同一說法時,應如何引用。
  • 禁止使用哪些格式。
  • 缺乏依據時該如何處理。

解析引用

模型輸出引用後,你需要從回應文字中擷取引用,才能在向使用者顯示答案前解析來源 ID、顯示連結或移除原始標記。

你可以將下列輔助函式直接複製到應用程式中。這些函式可解析單一來源或多個來源的引用,以及選用的行範圍定位資訊,同時保留原文中的字元偏移量。

此範例僅支援以行號定位。如果系統採用其他定位格式,請調整範例。

如果你的系統使用不同格式的來源 ID,請更新 SOURCE_ID_RE 以符合該格式。

範例

以下範例示範兩種常見的引用方式:

  • 透過工具檢索上下文:工具傳回可引用的資料及其 ID。
  • 注入上下文:直接在提示詞中提供可引用的區塊。

設定工具所檢索上下文的引用格式

如果模型透過工具檢索上下文,並在答案中引用檢索到的內容,請使用這種方式。

定義可引用單位

請依使用情境所需的精確度選擇可引用單位。以下範例示範幾種可能的工具輸出。

以下是幾種建議的工具輸出格式。不同應用程式使用的工具可能不同,最重要的是採用如範例所示的清楚、一致的結構來呈現輸出。

撰寫提示詞指示

## 引用

結果由「tool_1」傳回。`tool_1` 傳回的每則訊息都稱為一個「來源」。訊息中第一個符合 `turn\\d+file\\d+` 格式的字串就是該來源的參照 ID(例如 `turn0file0` 或 `turn2file1`)。在這個例子中,字串 `turn0file0` 就是來源的參照 ID。

引用用來指出回應的依據來自 `tool_1` 的哪些來源。你可以引用單一來源,也可以引用多個來源。

引用單一來源時,必須使用以下格式:
{CITATION_START}cite{CITATION_DELIMITER}turn\d+file\d+{CITATION_STOP}

如果系統支援以行為單位的引用,引用特定行範圍時必須使用以下格式:
{CITATION_START}cite{CITATION_DELIMITER}turn\d+file\d+{CITATION_DELIMITER}L\d+-L\d+{CITATION_STOP}

引用多個來源時,必須為每個提供依據的來源各輸出一個獨立的引用標記。

在回應正文中寫出 `turn0file0` 這類參照 ID 時,必須將它放在 {CITATION_START}...{CITATION_STOP} 之間。

- 將引用放在有來源支持的句子末尾。如果句子較長,且有多個子句各有依據,也可以在句中就近標註。
- 引用必須放在標點符號之後。
- 只能引用檢索到且能直接支持相應敘述的來源。
- 不得自行編造工具未傳回的來源 ID、行範圍或區塊定位資訊。
- 如果檢索到的多個來源都為同一項說法提供實質依據,必須全部引用。
- 如果檢索到的來源說法不一致,請引用說法相互衝突的來源,並準確說明分歧之處。

輸出範例:

The on-call handoff process is documented in the weekly support sync notes. \ue200cite\ue202turn0file0\ue202L8-L13\ue201

設定注入上下文的引用格式

如果你會事先檢索或準備上下文,再將內容直接加入提示詞,請使用這種方式。

定義可引用單位

注入上下文時,常見做法是使用帶有穩定參照 ID 的明確標籤,將各個來源片段包在標籤內。

<BLOCK id="block1">
The service agreement states that termination for convenience requires thirty (30) days’ written notice, unless superseded by a customer-specific addendum.
In practice, renewal terms auto-extend for successive one-year periods when no written non-renewal notice is received before the deadline.
Appendix B further clarifies that pricing exceptions must be approved in writing by both Finance and the account owner.
</BLOCK>

<BLOCK id="block2">
Syllabus
</BLOCK>
...

這樣能清楚界定每個可引用單位,方便模型引用。

撰寫提示詞指示

## 引用

提示詞將作為依據的上下文劃分為可引用單位,直接提供給你。每個單位的參照 ID 取自該單位的標籤首次出現時所帶的 `id` 屬性值。例如,在 `<BLOCK id="block5"> ... </BLOCK>` 中,來源的參照 ID 是 `block5`。

這種方式不會呼叫工具,因此沒有需要遞增的工具回合計數器,引用標記也無須使用 `turn#` 前綴。如果系統其他部分採用 `turn0block5` 這類 ID,你可以沿用該格式,也可以使用本例中的 `block5` 這類簡單 ID。每個引用標記中的 ID 都必須與注入上下文中的對應 ID 完全相符。

引用指向提示詞提供的可引用單位。你可以引用單一來源,也可以引用多個來源。

引用單一來源時,必須使用以下格式:
{CITATION_START}cite{CITATION_DELIMITER}<block_id>{CITATION_STOP}

例如:
{CITATION_START}cite{CITATION_DELIMITER}block5{CITATION_STOP}

引用多個來源時,必須為每個提供依據的區塊各輸出一個獨立的引用標記。

在回應正文中寫出區塊 ID 時,必須將它放在 {CITATION_START}...{CITATION_STOP} 之間。

- 將引用放在有來源支持的句子末尾。如果句子較長,且有多個子句各有依據,也可以在句中就近標註。
- 引用必須放在標點符號之後。
- 只能引用所提供的上下文中實際出現的區塊。
- 不得自行編造新的區塊 ID。
- 不得引用外部知識或外部權威來源。
- 如果多個區塊都為同一項說法提供實質依據,必須全部引用。
- 如果提供的區塊內容相互衝突,請引用這些區塊,並準確說明衝突之處。

輸出範例:

The Court held that the District Court lacked personal jurisdiction over the petitioner. \ue200cite\ue202block5\ue201

注意:OpenAI 代管的工具(例如網頁搜尋)會自動在內文中標註引用。如果你想改用代管工具,請參閱 工具概覽、 網頁搜尋指南和 檔案搜尋指南。