如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

嵌入向量

了解如何将文本转换为数字,用于搜索等场景。

新款嵌入模型
text-embedding-3-small 和 text-embedding-3-large现已推出。它们是我们最新、性能最强的嵌入模型,使用成本更低,在多语言任务中表现更好,还提供了新参数,可用于控制嵌入向量的整体大小。

什么是嵌入向量?

OpenAI 的文本嵌入向量可用于衡量文本之间的相关程度。常见用途包括:

  • 搜索(按结果与查询文本的相关程度排序)
  • 聚类(按相似程度对文本进行分组)
  • 推荐(推荐文本内容相关的条目)
  • 异常检测(找出与其他数据关联很弱的离群点)
  • 多样性度量(分析相似度的分布)
  • 分类(为文本分配与其最相似的标签)

嵌入向量是由浮点数组成的向量,也就是一个浮点数列表。两个向量之间的距离可以衡量它们的相关程度。距离越小,通常表示相关程度越高,反之则越低。

有关嵌入向量的价格,请参阅定价页面。每次请求按 Token 数量计费,统计范围为该请求的输入。

如何获取嵌入向量

要获取嵌入向量,请将文本字符串发送到嵌入 API 端点,并在请求中指定嵌入模型名称(例如 text-embedding-3-small):

示例:获取嵌入向量
import OpenAI from "openai";
const openai = new OpenAI();

const embedding = await openai.embeddings.create({
  model: "text-embedding-3-small",
  input: "Your text string goes here",
  encoding_format: "float",
});

console.log(embedding);

响应包含嵌入向量(一个浮点数列表)以及一些额外的元数据。您可以提取该向量,将其保存到向量数据库中,供多种应用使用。

{
  "object": "list",
  "data": [
    {
      "object": "embedding",
      "index": 0,
      "embedding": [
        -0.006929283495992422, -0.005336422007530928, -4.547132266452536e-5,
        -0.024047505110502243
      ]
    }
  ],
  "model": "text-embedding-3-small",
  "usage": {
    "prompt_tokens": 5,
    "total_tokens": 5
  }
}

默认的嵌入向量长度分别为 1536(text-embedding-3-small)和 3072(text-embedding-3-large)。如果您希望降低向量维度,同时保留其表示概念的能力,可以传入 dimensions 参数。有关嵌入向量维度的更多说明,请参阅应用场景一节。

嵌入模型

OpenAI 提供两款功能强大的第三代嵌入模型(模型 ID 中含有 -3)。详情请参阅第三代嵌入模型的发布公告。

费用按输入 Token 数量计算。下表列出了每美元大约可处理的文本页数(假设每页约有 800 个 Token):

模型 每美元可处理的页数(约) MTEB 评测得分 最大输入长度(Token)
text-embedding-3-small 62,500 62.3% 8192
text-embedding-3-large 9,615 64.6% 8192
text-embedding-ada-002 12,500 61.0% 8192

应用场景

下面使用亚马逊食品评论数据集演示几种典型的应用场景。

获取嵌入向量

该数据集收录了截至 2012 年 10 月亚马逊用户发表的 568,454 条食品评论。我们选取其中最新的 1000 条评论作为示例。这些评论均为英文,通常带有正面或负面倾向。每条评论都包含商品 ID(ProductId)、用户 ID(UserId)、评分(Score)、评论标题(Summary)和评论正文(Text)。例如:

商品 ID 用户 ID 评分 标题 正文
B001E4KFG0 A3SGXH7AUHU8GW 5 品质很好的狗粮 我买过好几罐 Vitality 的罐头……
B00813GRG4 A1D87F6ZCVE5NK 1 和宣传的不一样 收到的商品上标着“特大号盐味花生”……

下面,我们将每条评论的标题和正文合并为一段文本。模型对合并后的文本进行编码,输出一个嵌入向量。

Get_embeddings_from_dataset.ipynb
为评论生成嵌入向量
import { mkdir, writeFile } from "node:fs/promises";
import OpenAI from "openai";

const client = new OpenAI();
const reviews = ["A rich cup of coffee.", "A bright herbal tea."];

const response = await client.embeddings.create({
  model: "text-embedding-3-small",
  input: reviews.map((review) => review.replaceAll("\n", " ")),
});

const csvField = (value: string) => `"${value.replaceAll('"', '""')}"`;
const rows = response.data.map(({ embedding }, index) =>
  [csvField(reviews[index]), csvField(JSON.stringify(embedding))].join(",")
);

await mkdir("output", { recursive: true });
await writeFile(
  "output/embedded_1k_reviews.csv",
  ["combined,ada_embedding", ...rows].join("\n") + "\n"
);

要从已保存的文件中加载数据,可以运行以下代码:

加载已保存的嵌入向量
from ast import literal_eval
import pandas as pd

df = pd.read_csv("output/embedded_1k_reviews.csv")
df["ada_embedding"] = df.ada_embedding.apply(literal_eval).apply(np.array)

常见问题

如何在生成嵌入向量之前确定字符串包含多少个 Token?

在 Python 中,您可以使用 OpenAI 的分词器 tiktoken 将字符串拆分为 Token。

示例代码:

在生成嵌入向量前统计 Token 数量
import tiktoken


def num_tokens_from_string(string: str, encoding_name: str) -> int:
    """Returns the number of tokens in a text string."""
    encoding = tiktoken.get_encoding(encoding_name)
    num_tokens = len(encoding.encode(string))
    return num_tokens


num_tokens_from_string("tiktoken is great!", "cl100k_base")

对于 text-embedding-3-small 等第三代嵌入模型,请使用 cl100k_base 编码。

更多说明和示例代码,请参阅 OpenAI Cookbook 指南如何使用 tiktoken 统计 Token 数量。

如何快速检索最近的 K 个嵌入向量?

要在大量向量中快速搜索,我们建议使用向量数据库。您可以在 GitHub 上的 OpenAI Cookbook 中找到结合使用向量数据库和 OpenAI API 的示例。

应该使用哪种距离函数?

我们建议使用余弦相似度。通常,距离函数的选择对结果影响不大。

OpenAI 的嵌入向量经过归一化,长度均为 1,因此:

  • 只需计算点积即可得到余弦相似度,速度略快
  • 使用余弦相似度和欧氏距离会得到完全相同的排序

可以在网上分享我的嵌入向量吗?

可以。客户拥有提交给我们模型的输入以及模型生成的输出,包括嵌入向量。您有责任确保提交给 API 的内容符合所有适用法律以及我们的使用条款。

第三代嵌入模型了解近期事件吗?

不了解。text-embedding-3-large 和 text-embedding-3-small 模型都不了解 2021 年 9 月之后发生的事件。相比文本生成模型,这一限制对嵌入模型的影响通常较小,但在某些特殊情况下仍可能导致性能下降。