如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

图像与视觉

了解如何分析或生成图像。

概述

新一代语言模型可以接收并分析图像,这种能力称为视觉。GPT Image 模型可以根据文本和图像输入创建新图像或编辑已有图像。

请根据您要分析图像还是生成图像来选择端点:

API 支持的用途
Responses API 分析图像,或使用图像生成工具生成和编辑图像
Images API 生成图像作为输出,也可以使用图像作为输入
Chat Completions API 分析图像并生成文本回复

有关各模型支持的输入和输出模态,请参阅模型页面。

生成或编辑图像

使用 Images API 时,请选择 gpt-image-2.5-sunburst 根据文本生成图像或编辑已有图像。使用 Responses API 时,请选择支持图像生成工具的主系列模型。该工具会自行选择 GPT Image 模型。

使用 Responses API 生成图像
from openai import OpenAI
import base64

client = OpenAI()

response = client.responses.create(
    model="gpt-6.2-astra",
    input="Generate an image of gray tabby cat hugging an otter with an orange scarf",
    tools=[{"type": "image_generation"}],
)

# Save the image to a file
image_data = [
    output.result
    for output in response.output
    if output.type == "image_generation_call"
]

if image_data:
    image_base64 = image_data[0]
    with open("cat_and_otter.png", "wb") as f:
        f.write(base64.b64decode(image_base64))

有关图像生成的更多信息,请参阅图像生成指南。

运用现实世界知识生成图像

即使没有参考图像,GPT Image 模型也能运用其对现实世界的了解来生成图像。例如,如果提示词描述的是一个陈列半宝石的柜子,生成的画面中就可能出现清晰可辨的紫水晶、粉晶和玉石等宝石。

分析图像

您可以使用具备视觉能力的模型描述图像、读取图中可见的文字,以及回答有关物体、形状、颜色或纹理的问题。使用模型的回答时,请考虑其局限性。

向模型提供图像输入

您可以通过以下任一方式提供待分析的图像:

  • 提供图像文件的完整 URL
  • 以 Base64 编码的数据 URL 形式提供图像
  • 提供文件 ID(使用 Files API 创建)

您可以在 content 数组中包含多张图像,在一次请求中将它们一并作为输入。请注意,图像会计入 Token 用量,并据此计费。

分析图像内容
from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-6.2-astra",
    input=[
        {
            "role": "user",
            "content": [
                {"type": "input_text", "text": "what's in this image?"},
                {
                    "type": "input_image",
                    "image_url": "https://api.nga.gov/iiif/a2e6da57-3cd1-4235-b20e-95dcaefed6c8/full/!800,800/0/default.jpg",
                },
            ],
        }
    ],
)

print(response.output_text)

图像输入要求

请使用受支持的图像文件格式,并确保图像足够清晰,以便模型分析。

要求 支持的输入
文件类型 PNG(.png)、JPEG(.jpeg 或 .jpg)、WEBP(.webp)和非动画 GIF(.gif)
请求大小 每个请求的有效负载总计最多 512 MB
图像数量 每个请求最多 1,500 张图像

对于按图像块处理的图像输入,应用所选模型和 detail 级别对应的缩放规则后,每张图像最多可使用 30,000 个图像块。此上限适用于所有受支持的细节级别,按每张图像分别计算,而非按整个请求的图像块总数计算。

如果模型和细节级别规定了更低的缩放预算,该预算仍然适用。处理后的图像若超过 30,000 个图像块,API 会拒绝请求,不会自动缩小图像以满足该上限。请减小图像尺寸后重试。

图像 Token 和提示词的其余部分合计也必须符合模型的输入限制和上下文限制。仅凭估算的 Token 数无法保证请求符合所有输入限制。使用图像时必须遵守我们的使用政策。

选择图像细节级别

detail 参数控制图像的预处理方式。可用值取决于模型,包括 low、high、original 或 auto。如果省略此参数,Responses API 和 Chat Completions API 都默认使用 auto。各模型对应的处理方式见模型缩放规则表。

{
    "type": "input_image",
    "image_url": "https://api.nga.gov/iiif/a2e6da57-3cd1-4235-b20e-95dcaefed6c8/full/!800,800/0/default.jpg",
    "detail": "original"
}

请根据任务选择细节级别:

细节级别 适用场景
low 大致了解图像内容。缩放方式和 Token 用量取决于模型,low 使用的 Token 不一定比 high 少。
high 需要高保真地理解图像,但无需获取精确的原图坐标。
original 模型支持此级别时,适用于大尺寸或内容密集的图像,以及对空间位置敏感的任务或计算机使用任务中的图像。
auto 使用模型默认的缩放规则,详见模型缩放规则表。

对于需要辨别细微视觉特征或获取精确坐标的任务,例如光学字符识别(OCR)、小目标检测或计算机使用,如果模型支持,请使用 "detail": "original"。在原始细节级别下,系统仍可能缩小图像,以满足模型的像素尺寸限制或缩放时的图像块预算。30,000 个图像块是单独设定的上限,超限时 API 会拒绝请求,不会进一步缩小图像。对于需要精确坐标的任务,请在发送前将图像缩放至符合这些限制的尺寸,并将返回的坐标映射回原图。坐标处理方法见计算机使用指南。

各模型的缩放规则

下表列出了通用视觉模型的缩放规则。其他模型和专用变体可能采用不同的限制。所有缩放操作都会保持宽高比,较小的图像不会被放大。

模型系列支持的细节级别图像块与缩放规则
gpt-6-astra

low、high、original、auto

low 将图像尺寸限制在 512 × 512 像素以内。high 最多允许 2,500 个图像块,最长边不超过 65,535 像素。两项限制同时适用。 original 保留图像的原始尺寸,但如果任一边超过 65,535 像素,则按比例缩小至符合该上限。如果处理后的图像需要超过 30,000 个图像块,API 会拒绝请求,不会继续缩小图像以满足图像块上限。 auto 使用与 original 相同的缩放规则。

gpt-5.6-sol、gpt-5.6-terra、 gpt-5.6-luna

low、high、original、auto

low 将图像尺寸限制在 512 × 512 像素以内。high 将图像尺寸限制在 2048 × 2048 像素以内,且最多允许 2,500 个图像块。original 保留图像的原始尺寸,但如果任一边超过 65,535 像素,则按比例缩小至符合该上限。如果处理后的图像需要超过 30,000 个图像块,API 会拒绝请求,不会继续缩小图像以满足图像块上限。 auto 使用与 original 相同的缩放规则。

gpt-5.5

low、high、original、auto

low 将图像尺寸限制在 512 × 512 像素以内。high 最多允许 2,500 个图像块,最长边不超过 2048 像素。original 最多允许 10,000 个图像块,最长边不超过 6000 像素。图像块数量和边长限制同时适用。auto 使用的缩放规则与 original 相同。

gpt-5.4、gpt-5.4-mini、gpt-5.4-nano

low、high、original、auto

low 的最长边上限为 2048 像素,图像块预算为 6,144 个,因此可能比 high 使用更多 Token。 high 最多允许 2,500 个图像块,最长边不超过 2048 像素。original 最多允许 10,000 个图像块,最长边不超过 6000 像素。图像块数量和边长限制同时适用。auto 使用与 high 相同的缩放规则。

gpt-5.2、gpt-4.1-mini

low、high、auto

这些细节级别采用相同的缩放限制:最长边不超过 2048 像素,图像块预算为 6,144 个。不支持 original。

gpt-5.1、gpt-4.1、gpt-4o、gpt-4o-mini

low、high、auto

low 使用固定数量的 Token。high 和 auto 使用 基于图像分片的缩放规则。

计算费用

视觉模型会将图像输入转换为计费的输入 Token。图像输入费用计算器和本节的图像块及分片规则适用于视觉模型的输入。使用 GPT Image 生成或编辑图像时采用单独的计费规则,详见 GPT Image 模型输入。

图像 Token 也会计入您的每分钟 Token 数(TPM)限额。计算器按标准输入费率估算单张图像的费用,不包括提示词的其余部分或模型输出。

图像输入费用计算器

使用图像输入费用计算器,可以根据模型、图像尺寸和细节级别估算单张图像的输入 Token 数和费用。

基于图像块的图像 Token 化处理

一些模型使用 32 × 32 像素的图像块覆盖整张图像,从而将图像 Token 化。许多模型与细节级别的组合都规定了缩放时的图像块预算。API 首先根据所选细节级别的像素尺寸限制调整图像大小,保持宽高比,并将尺寸舍入为整数像素。较小的图像不会被放大。然后按以下步骤计算 Token 用量:

A. 应用像素尺寸限制后,计算覆盖图像所需的 32 × 32 像素图像块数量。图像块可以超出图像边界。

patch_count = ceil(width/32)×ceil(height/32)

B. 如果所选模型和细节级别规定了缩放时的图像块预算,且所需图像块数量超出预算,请按比例缩小图像,否则跳过此步骤。调整缩放系数,使尺寸转换为整数像素后,覆盖图像所需的图像块数量仍在预算以内。在计算最终尺寸之前,保留完整的计算精度。

shrink_factor = sqrt((32^2 * patch_budget) / (width * height))
adjusted_shrink_factor = shrink_factor * min(
  floor(width * shrink_factor / 32) / (width * shrink_factor / 32),
  floor(height * shrink_factor / 32) / (height * shrink_factor / 32)
)

C. 如果步骤 B 缩小了图像,请将缩放后的最终宽度和高度向下取整到整数像素。计算覆盖最终图像所需的图像块数量,即应用模型系数之前的图像 Token 数。如果有图像块预算,该数量不会超出预算。

resized_patch_count = ceil(resized_width/32)×ceil(resized_height/32)

如果该数量超过 30,000 个图像块,API 会拒绝请求。请在应用 Token 系数前检查是否超出此上限。

D. 将图像块数量乘以模型系数并向上取整,即可得到计费的图像输入 Token 数。将该数量乘以模型的输入单价一次即可。其他提示词 Token 不乘以该系数,单价也无需再乘以该系数。

模型 系数
gpt-6-astra 1.2
gpt-5.6-sol 1.2
gpt-5.6-terra 1.2
gpt-5.6-luna 1.2
gpt-5.5 1.2
gpt-5.4 1.2
gpt-5.4-mini 1.2
gpt-5.4-nano 1.2
gpt-5.2 1.2
gpt-5-mini* 1.2
gpt-5-nano* 1.5
gpt-4.1-mini 1.62
gpt-4.1-nano*(2025-04-14 快照) 2.46
o4-mini* 1.72

对于 gpt-4.1-mini,此系数适用于 2025-04-14 快照。

* 已弃用并计划停用。停用日期和替代模型见弃用时间表。计算器和上方的模型缩放规则表均未包含这些模型。

gpt-6-astra 在 detail: high 下的图像 Token 计算示例

此组合的最长边上限为 65,535 像素,图像块预算为 2,500 个,系数为 1.2。

  • 一张 1024 × 1024 像素的图像需要 32 × 32 = 1024 个图像块,无需缩放。计费的图像输入为 ceil(1024 × 1.2) = 1229 个 Token。
  • 一张 2048 × 2048 像素的图像最初需要 64 × 64 = 4096 个图像块。为了满足图像块预算,图像会缩小至 1600 × 1600 像素,需要 50 × 50 = 2500 个图像块。估算用量为 ceil(2500 × 1.2) = 3000 个 Token。
  • 一张 4096 × 512 像素的图像会保持原始尺寸,需要 128 × 16 = 2048 个图像块,用量为 ceil(2048 × 1.2) = 2458 个 Token。

由于计费时会对浮点数进行舍入,最终数量与估算值可能相差一个 Token。

基于图像分片的图像 Token 化处理

下表中的模型将基础 Token 数与图像分片消耗的 Token 数相加,得到图像的总 Token 数:

模型 基础 Token 数 每个分片的 Token 数
gpt-5.1 70 140
gpt-5* 70 140
gpt-4o、gpt-4.1 85 170
gpt-4o-mini 2833 5667
o1*、o1-pro*、o3* 75 150

* 已弃用并计划停用。停用日期和替代模型见弃用时间表。计算器和上方的模型缩放规则表均未包含这些模型。

使用 "detail": "low" 时,无论图像尺寸如何,每张图像都只消耗该模型的基础 Token 数。使用 "detail": "high" 或 "detail": "auto" 时,按以下步骤计算:

  • 保持宽高比,将图像缩小至 2048 × 2048 像素以内。较小的图像不会被放大。
  • 如果短边超过 768 像素,将短边缩小至 768 像素,并将按比例缩放后的另一边长度向下取整。
  • 计算覆盖图像所需的边长为 512 像素的正方形分片数。每个分片消耗的 Token 数由模型决定。
  • 将模型的基础 Token 数与所有分片的 Token 数相加。

GPT Image 模型输入

GPT Image 模型在生成和编辑图像时采用单独的图像 Token 计费规则。视觉模型的费用计算器无法估算这些模型的输入或输出费用。当前费率见图像生成定价,生成和编辑图像的流程见图像生成指南。

GPT Image 1

gpt-image-1 已于 2026 年 10 月 23 日停用。以下输入 Token 规则保留供历史费用比较使用。有关替代模型,请参阅弃用公告。

计算以往请求的费用时,请按基于图像分片的规则调整图像尺寸,但要将短边缩小至 512 像素,而非 768 像素。Token 用量取决于图像尺寸以及 input_fidelity 参数在 Images API 中的设置。

输入保真度设为低时,基础用量为 65 个图像 Token,每个分片消耗 129 个图像 Token。 输入保真度设为高时,除了上述图像 Token,还会根据图像的宽高比加上固定数量的 Token。

  • 如果图像为正方形,则额外计入 4160 个图像输入 Token。
  • 如果图像偏竖向或横向,则额外计入 6240 个 Token。

有关历史图像输入 Token 单价,请参阅 GPT Image 1 模型页面。

局限性

视觉模型可能出错。设计应用时,请考虑以下局限性:

  • 医学图像:模型不适合解读 CT 扫描等专业医学图像,不应使用模型提供医疗建议。
  • 非英语文本:处理含有日文、韩文等非拉丁文字的图像时,模型的表现可能不够理想。
  • 小字:放大图像中的文字可以提高可读性。如果模型支持,使用 "detail": "original" 也有助于改善识别效果。
  • 旋转:模型可能会误读旋转或颠倒的文字和图像。
  • 视觉元素:如果图表或文字使用不同的颜色或样式(例如实线、虚线或点线),模型可能难以理解其含义。
  • 空间推理:模型难以完成需要精确空间定位的任务,例如识别国际象棋棋子的位置。
  • 准确性:在某些场景中,模型可能会生成错误的图像描述或图注。
  • 图像形态:模型难以理解全景图像和鱼眼图像。
  • 元数据与缩放:模型不会处理原始文件名或元数据。图像在分析前可能会被缩放,即使细节级别设为 original 也是如此。各模型适用的限制见各模型的缩放规则。
  • 计数:对于图像中物体的数量,模型给出的可能是近似值。
  • 验证码:出于安全考虑,系统会阻止提交验证码。