如需完整的文件索引,請參閱 llms.txt。在文件頁面的網址末尾加上 .md ,即可取得該頁面的 Markdown 版本。
主要導覽
主題

嵌入向量

瞭解如何將文字轉換成數值,用於搜尋等應用。

全新嵌入模型
text-embedding-3-small 和 text-embedding-3-large 現已推出。這兩款嵌入模型是我們最新、效能最好的模型,使用成本更低,在多語言任務上的表現也更好。你可以透過新參數調整嵌入向量的整體大小。

什麼是嵌入向量?

OpenAI 的文字嵌入向量可用來衡量字串之間的關聯程度。常見用途包括:

  • 搜尋(依結果與查詢字串的相關程度排序)
  • 分群(依相似度將字串分組)
  • 推薦(推薦文字內容相關的項目)
  • 異常偵測(找出與其他資料關聯程度低的離群值)
  • 多樣性衡量(分析相似度的分布)
  • 分類(找出與每個字串最相似的標籤,據此判定字串所屬的類別)

嵌入向量由一串浮點數組成。兩個向量之間的距離可用來衡量兩者的關聯程度。距離越短,通常表示關聯程度越高;距離越長,通常表示關聯程度越低。

如需瞭解嵌入向量的費用,請參閱定價頁面。每次請求都按 Token 數量計費,計算範圍為該次請求的輸入內容。

如何取得嵌入向量

若要取得嵌入向量,請將字串傳送至嵌入向量 API 端點,並在請求中指定嵌入模型名稱(例如 text-embedding-3-small):

範例:取得嵌入向量
import OpenAI from "openai";
const openai = new OpenAI();

const embedding = await openai.embeddings.create({
  model: "text-embedding-3-small",
  input: "Your text string goes here",
  encoding_format: "float",
});

console.log(embedding);

回應會包含嵌入向量(一串浮點數)及一些額外的中繼資料。你可以擷取嵌入向量,將其儲存在向量資料庫中,供各種應用使用。

{
  "object": "list",
  "data": [
    {
      "object": "embedding",
      "index": 0,
      "embedding": [
        -0.006929283495992422, -0.005336422007530928, -4.547132266452536e-5,
        -0.024047505110502243
      ]
    }
  ],
  "model": "text-embedding-3-small",
  "usage": {
    "prompt_tokens": 5,
    "total_tokens": 5
  }
}

嵌入向量的預設長度為 1536(適用於 text-embedding-3-small)或 3072(適用於 text-embedding-3-large)。若要降低嵌入向量的維度,同時保留其表達概念的能力,請傳入 dimensions 參數。如需進一步瞭解嵌入向量的維度,請參閱應用情境一節。

嵌入模型

OpenAI 提供兩款功能強大的第三代嵌入模型,模型 ID 中均含有 -3。詳情請參閱第三代嵌入模型發布公告。

費用依輸入的 Token 數量計算。下表以每頁約 800 個 Token 估算每美元可處理的文字頁數:

模型 每美元約可處理的頁數 MTEB 評測表現 輸入上限(Token 數)
text-embedding-3-small 62,500 62.3% 8192
text-embedding-3-large 9,615 64.6% 8192
text-embedding-ada-002 12,500 61.0% 8192

應用情境

以下使用 Amazon 食品評論資料集示範幾種具代表性的應用。

取得嵌入向量

這個資料集收錄了截至 2012 年 10 月 Amazon 使用者留下的 568,454 則食品評論。以下選用其中最新的 1,000 則作為示範。這些評論以英文撰寫,通常帶有正面或負面評價。每則評論都包含 ProductId、UserId、Score、評論標題(Summary)及評論內文(Text)。例如:

商品 ID 使用者 ID 評分 標題 內文
B001E4KFG0 A3SGXH7AUHU8GW 5 Good Quality Dog Food I have bought several of the Vitality canned…
B00813GRG4 A1D87F6ZCVE5NK 1 Not as Advertised Product arrived labeled as Jumbo Salted Peanut…

以下將每則評論的標題和內文合併成一段文字。模型會對合併後的文字進行編碼,輸出單一嵌入向量。

Get_embeddings_from_dataset.ipynb
import { mkdir, writeFile } from "node:fs/promises";
import OpenAI from "openai";

const client = new OpenAI();
const reviews = ["A rich cup of coffee.", "A bright herbal tea."];

const response = await client.embeddings.create({
  model: "text-embedding-3-small",
  input: reviews.map((review) => review.replaceAll("\n", " ")),
});

const csvField = (value: string) => `"${value.replaceAll('"', '""')}"`;
const rows = response.data.map(({ embedding }, index) =>
  [csvField(reviews[index]), csvField(JSON.stringify(embedding))].join(",")
);

await mkdir("output", { recursive: true });
await writeFile(
  "output/embedded_1k_reviews.csv",
  ["combined,ada_embedding", ...rows].join("\n") + "\n"
);

若要從已儲存的檔案載入資料,可以執行以下程式碼:

from ast import literal_eval
import pandas as pd

df = pd.read_csv("output/embedded_1k_reviews.csv")
df["ada_embedding"] = df.ada_embedding.apply(literal_eval).apply(np.array)

常見問題

將字串轉換成嵌入向量之前,如何得知它包含多少個 Token?

在 Python 中,可以使用 OpenAI 的 Token 切分工具 tiktoken 將字串拆成 Token。

範例程式碼:

import tiktoken


def num_tokens_from_string(string: str, encoding_name: str) -> int:
    """Returns the number of tokens in a text string."""
    encoding = tiktoken.get_encoding(encoding_name)
    num_tokens = len(encoding.encode(string))
    return num_tokens


num_tokens_from_string("tiktoken is great!", "cl100k_base")

對於 text-embedding-3-small 等第三代嵌入模型,請使用 cl100k_base 編碼。

如需詳細說明和範例程式碼,請參閱 OpenAI Cookbook 指南〈如何使用 tiktoken 計算 Token 數量〉。

如何快速找出距離最近的 K 個嵌入向量?

若要快速搜尋大量向量,建議使用向量資料庫。在 GitHub 上的 OpenAI Cookbook 中,可以找到搭配使用向量資料庫與 OpenAI API 的範例。

應該使用哪種距離函式?

我們建議使用餘弦相似度。一般而言,選用哪種距離函式對結果影響不大。

OpenAI 的嵌入向量均已正規化為長度 1,因此:

  • 只需計算內積即可得到餘弦相似度,速度會稍快一些
  • 使用餘弦相似度和歐幾里得距離會得到完全相同的排序

我可以在網路上分享自己的嵌入向量嗎?

可以。客戶擁有提供給我們模型的輸入內容,以及模型產生的輸出內容,嵌入向量也包含在內。你有責任確保輸入 API 的內容符合所有適用法律及我們的使用條款。

第三代嵌入模型瞭解近期發生的事件嗎?

不瞭解。text-embedding-3-large 和 text-embedding-3-small 模型對 2021 年 9 月之後發生的事件缺乏相關知識。這項限制對嵌入模型的影響通常比對文字生成模型小,但在某些特殊情況下仍可能使表現變差。