Den vollständigen Index der Dokumentation findest du in llms.txt. Die Markdown-Version einer Dokumentationsseite erhältst du, indem du .md an die URL der Seite anhängst.
Hauptnavigation
Design

Token zählen

Ermittle die genaue Anzahl der Eingabetoken, bevor du eine Anfrage sendest.

Du kannst ermitteln, wie viele Eingabetoken eine Anfrage benötigt, bevor du sie an das Modell sendest. Damit kannst du:

  • Prompts optimieren, damit sie in das Kontextfenster passen
  • Kosten abschätzen, bevor du die API aufrufst
  • Anfragen je nach Größe weiterleiten, etwa kürzere Prompts an schnellere Modelle
  • Überraschungen bei Bildern und Dateien vermeiden, weil du die Tokenzahl nicht mehr anhand der Zeichenzahl schätzen musst

Der Endpunkt zum Zählen von Eingabetoken akzeptiert dasselbe Eingabeformat wie die Responses API. Übergib Text, Nachrichten, Bilder, Dateien, Tools oder Unterhaltungen. Die API gibt die genaue Anzahl der Token zurück, die das Modell erhält.

Die Zählung umfasst auch Formatierungstoken, die die Struktur der Anfrage abbilden. Sie kennzeichnen zum Beispiel die Rolle einer Nachricht oder grenzen Nachrichten voneinander ab. Diese Token kommen in den Texten oder Feldern, die du lokal tokenisierst, möglicherweise nicht vor.

Warum die API zum Zählen von Token verwenden?

Lokale Tokenizer wie tiktoken eignen sich für reinen Text, haben aber Einschränkungen:

  • Bilder und Dateien unterstützen sie nicht. Schätzungen mit Formeln wie characters / 4 sind ungenau.
  • Tools und Schemata benötigen zusätzliche Token, die sich lokal nur schwer zählen lassen.
  • Modellspezifisches Verhalten kann die Tokenisierung beeinflussen, etwa beim Reasoning oder Caching.

Die API zum Zählen von Token berücksichtigt all diese Fälle. Übergib dieselben Daten, die du an responses.create senden würdest. So erhältst du die genaue Tokenzahl und kannst sie verwenden, um Nachrichten zu validieren oder Kosten abzuschätzen.

Token in einfachen Nachrichten zählen

Einfache Texteingabe
from openai import OpenAI

client = OpenAI()

response = client.responses.input_tokens.count(
    model="gpt-6-astra", input="Tell me a joke."
)
print(response.input_tokens)

Token in Unterhaltungen zählen

Unterhaltung mit mehreren Gesprächsrunden
from openai import OpenAI

client = OpenAI()

response = client.responses.input_tokens.count(
    model="gpt-6-astra",
    input=[
        {"role": "user", "content": "What is 2 + 2?"},
        {"role": "assistant", "content": "2 + 2 equals 4."},
        {"role": "user", "content": "What about 3 + 3?"},
    ],
)
print(response.input_tokens)

Token bei Eingaben mit Anweisungen zählen

Eingabe mit Systemanweisungen
from openai import OpenAI

client = OpenAI()

response = client.responses.input_tokens.count(
    model="gpt-6-astra",
    instructions="You are a helpful assistant that explains concepts simply.",
    input="Explain quantum computing in one sentence.",
)
print(response.input_tokens)

Token bei Eingaben mit Bildern zählen

Wie viele Token ein Bild benötigt, hängt von seiner Größe und der Detailstufe ab. Die API zum Zählen von Token gibt die genaue Anzahl zurück. Du musst sie nicht schätzen.

Eingabe mit einem Bild
from openai import OpenAI

client = OpenAI()

# Use file_id from uploaded file, or image_url for a URL
response = client.responses.input_tokens.count(
    model="gpt-6-astra",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_image",
                    "image_url": "https://example.com/chart.png",
                },
                {"type": "input_text", "text": "Summarize this chart."},
            ],
        }
    ],
)
print(response.input_tokens)

Du kannst file_id (aus der Files API) oder image_url (eine URL oder eine Base64-Daten-URL) verwenden. Weitere Informationen findest du im Leitfaden zu Bildern und Bilderkennung.

Token bei Eingaben mit Tools zählen

Tooldefinitionen (Funktionsschemata, MCP-Server usw.) belegen zusätzliche Token im Kontext. Zähle diese Token zusammen mit denen deiner Eingabe:

Eingabe mit Funktionen als Tools
from openai import OpenAI

client = OpenAI()

response = client.responses.input_tokens.count(
    model="gpt-6-astra",
    tools=[
        {
            "type": "function",
            "name": "get_weather",
            "description": "Get the current weather in a location",
            "parameters": {
                "type": "object",
                "properties": {"location": {"type": "string"}},
                "required": ["location"],
            },
        }
    ],
    input="What is the weather in San Francisco?",
)
print(response.input_tokens)

Token bei Eingaben mit Dateien zählen

Die API unterstützt Dateien als Eingabe. Übergib file_id, file_url oder file_data wie bei responses.create. Die Tokenzahl umfasst die gesamte Eingabe, die das Modell verarbeitet.

Die Anzahl der Ausgabetoken verstehen

Der gemeldete Verbrauch an Ausgabetoken umfasst alle Token, die das Modell generiert, also auch solche, die im Antworttext nicht sichtbar sind. Die Responses API gibt diese Gesamtzahl als output_tokens an, die Chat Completions API als completion_tokens.

Einige Modelle, darunter die GPT-5-Modelle, generieren Token, um Antwortkanäle, Toolaufrufe und andere Bestandteile einer Nachricht zu formatieren oder voneinander abzugrenzen. Diese Formatierungstoken erscheinen weder im Nachrichteninhalt noch in logprobs. Auch die Verbrauchsangaben weisen sie nicht unbedingt gesondert aus. Deshalb kann die gemeldete Anzahl der Ausgabe- oder Completion-Token höher sein als die Anzahl der sichtbaren Token oder der in logprobs enthaltenen Token. Das gilt auch dann, wenn der gemeldete Wert für reasoning_tokens bei 0 liegt.

Die Parameter max_output_tokens und max_completion_tokens begrenzen die Gesamtzahl der vom Modell generierten Token, einschließlich der nicht sichtbaren Token. Wie viele Token nicht sichtbar sind, hängt vom Modell und von der Struktur der Antwort ab. Gehe daher nicht von einer festen Differenz zwischen dem gemeldeten Verbrauch und der Anzahl der sichtbaren Token aus. Wenn du eine bestimmte Menge sichtbarer Ausgabe benötigst, plane bei diesen Obergrenzen Spielraum ein.

API-Referenz

Alle Parameter und die Struktur der Antwort findest du in der API-Referenz zum Zählen von Eingabetoken. Der Endpunkt lautet:

POST /v1/responses/input_tokens

Die Antwort enthält input_tokens (eine Ganzzahl) und object: "response.input_tokens".