如需查看完整的文档索引,请参阅 llms.txt。在文档页面的 URL 末尾加上 .md 即可查看该页面的 Markdown 版本。
主导航
主题

CSAM 分类器

在经批准的儿童安全工作流程中对图像进行分类。

OpenAI CSAM 图像分类器可帮助审核人员优先审核可能含有儿童性虐待材料(CSAM)的图像,包括可能含有 AI 生成的此类材料的图像。

获批组织可免费使用此分类器。申请访问权限。

工作原理

分类器每次接收一张图像,并分别返回两个类别的信号:疑似 CSAM 和疑似由 AI 生成的 CSAM。要使用此分类器,请将模型设为 omni-moderation-csam-latest。

对于常规内容审核,请使用 omni-moderation-latest。该模型可以标记图像中的色情内容,但其 sexual/minors 类别仅适用于文本。

对图像进行分类

请按照您所在组织批准的流程处理输入。请勿提交已知的 CSAM。

  • 将 OPENAI_API_KEY 设为获批组织的 API 密钥。
  • 单独发送一个创建审核请求(POST /v1/moderations)。
  • 在 input 数组中发送且仅发送一张静态图像,大小不得超过 20 MB(20,000,000 字节),并指定 type: "image_url"。将 image_url.url 设为图像的 HTTP 或 HTTPS URL,或包含 base64 编码图像数据的 data URL。此分类器不支持文本分类。

以下示例向分类器发送一张肥皂的图像。

对图像进行分类
curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "omni-moderation-csam-latest",
    "input": [
      {
        "type": "image_url",
        "image_url": {
          "url": "https://cdn.openai.com/API/docs/images/soap.png"
        }
      }
    ]
  }'

响应示例:

{
  "id": "modr_example",
  "model": "omni-moderation-csam-latest",
  "results": [
    {
      "flagged": false,
      "categories": {
        "likely-csam": false,
        "likely-csam/gen-ai": false
      },
      "category_scores": {
        "likely-csam": 0.12,
        "likely-csam/gen-ai": 0.01
      },
      "category_applied_input_types": {
        "likely-csam": ["image"],
        "likely-csam/gen-ai": ["image"]
      }
    }
  ]
}

解读结果

从 results[0] 读取分类结果。先查看 flagged,再检查各类别的标记。

响应字段 说明
flagged 表示分类器是否标记了该图像。
categories 每个类别对应一个布尔值,表示分类器是否根据为该类别配置的判定阈值标记了图像。
category_scores 每个类别的分数介于 0 到 1 之间,没有单位。在同一类别和同一模型快照下,分数越高,表示图像与该类别的匹配程度越高。请勿将这些分数解读为经过校准的概率,也不要将 0.5 视为通用阈值。
category_applied_input_types 分类器对每个类别评估的输入类型。每个类别的值均为 ["image"]。

了解分类类别

类别 信号含义
likely-csam 图像可能含有 CSAM。
likely-csam/gen-ai 图像可能含有 AI 生成的 CSAM。

仅凭类别标记无法认定图像属于 CSAM,分类器也不会自动向有关部门报告内容。请遵循您所在组织的审核、升级处理和报告流程。有关如何处理已标记内容的建议,请参阅 CSAM 指南。

排查请求错误

如果请求失败,请确认所选模型为 omni-moderation-csam-latest,使用的是获批组织的 API 密钥,并且请求中只发送了一张符合大小限制的图像。

此分类器不支持内联审核或 Batch API。

如果遇到速率限制错误,请查看您所在组织的速率限制,并参阅速率限制指南。

申请访问权限

要申请访问权限,请提交分类器使用申请表。