Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Vektor-Embeddings

Erfahre, wie du Text in Zahlen umwandelst und damit Anwendungen wie die Textsuche umsetzt.

Neue Embedding-Modelle
text-embedding-3-small und text-embedding-3-large, unsere neuesten und leistungsstärksten Embedding-Modelle, sind jetzt verfügbar. Sie kosten weniger und erzielen bei mehrsprachigen Aufgaben bessere Ergebnisse. Mit neuen Parametern kannst du die Gesamtgröße der Embeddings steuern.

Was sind Embeddings?

Mit den Text-Embeddings von OpenAI lässt sich messen, wie eng Texte inhaltlich miteinander verwandt sind. Typische Anwendungen sind:

  • Suche (Ergebnisse nach ihrer Relevanz für eine Suchanfrage sortieren)
  • Clustering (Texte nach Ähnlichkeit gruppieren)
  • Empfehlungen (Einträge mit inhaltlich verwandten Texten empfehlen)
  • Anomalieerkennung (Ausreißer erkennen, die anderen Einträgen kaum ähneln)
  • Messung der Vielfalt (die Verteilung von Ähnlichkeitswerten analysieren)
  • Klassifikation (Texte der Klasse zuordnen, deren Bezeichnung ihnen am ähnlichsten ist)

Ein Embedding ist ein Vektor (eine Liste) aus Gleitkommazahlen. Der Abstand zwischen zwei Vektoren gibt an, wie ähnlich sich die zugehörigen Texte sind. Ein kleiner Abstand deutet auf eine hohe Ähnlichkeit hin, ein großer auf eine geringe.

Die Preise für Embeddings findest du in unserer Preisübersicht. Die Kosten einer Anfrage richten sich nach der Anzahl der Token in der Eingabe.

Embeddings abrufen

Um ein Embedding zu erhalten, sende deinen Text an den API-Endpunkt für Embeddings und gib den Namen des Embedding-Modells an (z. B. text-embedding-3-small).

Beispiel: Embeddings abrufen
import OpenAI from "openai";
const openai = new OpenAI();

const embedding = await openai.embeddings.create({
  model: "text-embedding-3-small",
  input: "Your text string goes here",
  encoding_format: "float",
});

console.log(embedding);

Die Antwort enthält den Embedding-Vektor (eine Liste von Gleitkommazahlen) und zusätzliche Metadaten. Du kannst den Vektor aus der Antwort auslesen, in einer Vektordatenbank speichern und für verschiedene Anwendungen nutzen.

{
  "object": "list",
  "data": [
    {
      "object": "embedding",
      "index": 0,
      "embedding": [
        -0.006929283495992422, -0.005336422007530928, -4.547132266452536e-5,
        -0.024047505110502243
      ]
    }
  ],
  "model": "text-embedding-3-small",
  "usage": {
    "prompt_tokens": 5,
    "total_tokens": 5
  }
}

Standardmäßig hat der Embedding-Vektor 1536 Dimensionen bei text-embedding-3-small oder 3072 bei text-embedding-3-large. Mit dem Parameter dimensions kannst du den Vektor verkürzen, ohne dass er seine Fähigkeit verliert, Konzepte abzubilden. Mehr zu den Dimensionen von Embeddings erfährst du im Abschnitt zu den Anwendungsfällen.

Embedding-Modelle

OpenAI bietet zwei leistungsfähige Embedding-Modelle der dritten Generation an. Du erkennst sie an -3 in der Modell-ID. Weitere Einzelheiten findest du im Blogbeitrag zur Einführung der Embedding-Modelle der dritten Generation.

Die Abrechnung erfolgt pro Eingabe-Token. Die Tabelle zeigt, wie viele Textseiten du für 1 USD verarbeiten kannst, wenn eine Seite etwa 800 Token enthält.

Modell Seiten pro 1 USD (ca.) Ergebnis im MTEB-Benchmark Maximale Eingabe (Token)
text-embedding-3-small 62.500 62,3 % 8.192
text-embedding-3-large 9.615 64,6 % 8.192
text-embedding-ada-002 12.500 61,0 % 8.192

Anwendungsfälle

Anhand eines Datensatzes mit Amazon-Rezensionen zu Lebensmitteln zeigen wir einige typische Anwendungen.

Embeddings erstellen

Der Datensatz enthält insgesamt 568.454 Rezensionen zu Lebensmitteln, die bis Oktober 2012 auf Amazon veröffentlicht wurden. Für unser Beispiel verwenden wir die 1.000 neuesten Rezensionen. Die Rezensionen sind auf Englisch und fallen meist klar positiv oder negativ aus. Jede Rezension enthält die Felder ProductId, UserId und Score sowie einen Titel (Summary) und den eigentlichen Rezensionstext (Text). Zwei Beispiele:

Produkt-ID Nutzer-ID Bewertung Titel Text
B001E4KFG0 A3SGXH7AUHU8GW 5 Good Quality Dog Food I have bought several of the Vitality canned…
B00813GRG4 A1D87F6ZCVE5NK 1 Not as Advertised Product arrived labeled as Jumbo Salted Peanut…

Im folgenden Beispiel fassen wir Titel und Text jeder Rezension zu einem einzigen Text zusammen. Das Modell kodiert diesen Text und gibt dafür einen einzelnen Embedding-Vektor aus.

Get_embeddings_from_dataset.ipynb
import { mkdir, writeFile } from "node:fs/promises";
import OpenAI from "openai";

const client = new OpenAI();
const reviews = ["A rich cup of coffee.", "A bright herbal tea."];

const response = await client.embeddings.create({
  model: "text-embedding-3-small",
  input: reviews.map((review) => review.replaceAll("\n", " ")),
});

const csvField = (value: string) => `"${value.replaceAll('"', '""')}"`;
const rows = response.data.map(({ embedding }, index) =>
  [csvField(reviews[index]), csvField(JSON.stringify(embedding))].join(",")
);

await mkdir("output", { recursive: true });
await writeFile(
  "output/embedded_1k_reviews.csv",
  ["combined,ada_embedding", ...rows].join("\n") + "\n"
);

Mit dem folgenden Code lädst du die Daten aus einer zuvor gespeicherten Datei:

from ast import literal_eval
import pandas as pd

df = pd.read_csv("output/embedded_1k_reviews.csv")
df["ada_embedding"] = df.ada_embedding.apply(literal_eval).apply(np.array)

Häufige Fragen

Wie ermittle ich die Anzahl der Token in einem Text, bevor ich sein Embedding erstelle?

In Python kannst du eine Zeichenkette mit dem Tokenizer tiktoken von OpenAI in Token zerlegen.

Beispielcode:

import tiktoken


def num_tokens_from_string(string: str, encoding_name: str) -> int:
    """Returns the number of tokens in a text string."""
    encoding = tiktoken.get_encoding(encoding_name)
    num_tokens = len(encoding.encode(string))
    return num_tokens


num_tokens_from_string("tiktoken is great!", "cl100k_base")

Verwende für Embedding-Modelle der dritten Generation wie text-embedding-3-small die Kodierung cl100k_base.

Weitere Einzelheiten und Beispielcode findest du in der Anleitung zum Zählen von Token mit tiktoken im OpenAI Cookbook.

Wie finde ich schnell die K nächstgelegenen Embedding-Vektoren?

Für die schnelle Suche in großen Vektormengen empfehlen wir eine Vektordatenbank. Beispiele für den Einsatz von Vektordatenbanken mit der OpenAI API findest du in unserem Cookbook auf GitHub.

Welche Abstandsfunktion sollte ich verwenden?

Wir empfehlen die Kosinusähnlichkeit. Die Wahl der Abstandsfunktion macht in der Regel kaum einen Unterschied.

Die Embedding-Vektoren von OpenAI sind auf die Länge 1 normiert. Daraus folgt:

  • Für die Berechnung der Kosinusähnlichkeit genügt das Skalarprodukt. Dadurch ist die Berechnung etwas schneller.
  • Kosinusähnlichkeit und euklidischer Abstand ergeben dieselbe Rangfolge.

Kann ich meine Embeddings online teilen?

Ja. Dir gehören sowohl deine Eingaben als auch die Ausgaben, die du von unseren Modellen erhältst. Das gilt auch für Embeddings. Du bist dafür verantwortlich, dass die Inhalte, die du an unsere API sendest, weder gegen geltendes Recht noch gegen unsere Nutzungsbedingungen verstoßen.

Kennen Embedding-Modelle der dritten Generation aktuelle Ereignisse?

Nein. Die Modelle text-embedding-3-large und text-embedding-3-small haben keine Kenntnisse über Ereignisse nach September 2021. Bei Embedding-Modellen fällt diese Einschränkung in der Regel weniger ins Gewicht als bei Modellen zur Textgenerierung. In Ausnahmefällen kann sie jedoch die Leistung beeinträchtigen.