OpenAI CSAM 图像分类器可帮助审核人员优先审核可能含有儿童性虐待材料(CSAM)的图像,包括可能含有 AI 生成的此类材料的图像。
获批组织可免费使用此分类器。申请访问权限。
工作原理
分类器每次接收一张图像,并分别返回两个类别的信号:疑似 CSAM 和疑似由 AI 生成的 CSAM。要使用此分类器,请将模型设为 omni-moderation-csam-latest。
对于常规内容审核,请使用 omni-moderation-latest。该模型可以标记图像中的色情内容,但其 sexual/minors 类别仅适用于文本。
对图像进行分类
请按照您所在组织批准的流程处理输入。请勿提交已知的 CSAM。
- 将
OPENAI_API_KEY设为获批组织的 API 密钥。 - 单独发送一个创建审核请求(
POST /v1/moderations)。 - 在
input数组中发送且仅发送一张静态图像,大小不得超过 20 MB(20,000,000 字节),并指定type: "image_url"。将image_url.url设为图像的 HTTP 或 HTTPS URL,或包含 base64 编码图像数据的 data URL。此分类器不支持文本分类。
以下示例向分类器发送一张肥皂的图像。
对图像进行分类
curl https://api.openai.com/v1/moderations \
-X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "omni-moderation-csam-latest",
"input": [
{
"type": "image_url",
"image_url": {
"url": "https://cdn.openai.com/API/docs/images/soap.png"
}
}
]
}'响应示例:
{
"id": "modr_example",
"model": "omni-moderation-csam-latest",
"results": [
{
"flagged": false,
"categories": {
"likely-csam": false,
"likely-csam/gen-ai": false
},
"category_scores": {
"likely-csam": 0.12,
"likely-csam/gen-ai": 0.01
},
"category_applied_input_types": {
"likely-csam": ["image"],
"likely-csam/gen-ai": ["image"]
}
}
]
}
解读结果
从 results[0] 读取分类结果。先查看 flagged,再检查各类别的标记。
| 响应字段 | 说明 |
|---|---|
flagged |
表示分类器是否标记了该图像。 |
categories |
每个类别对应一个布尔值,表示分类器是否根据为该类别配置的判定阈值标记了图像。 |
category_scores |
每个类别的分数介于 0 到 1 之间,没有单位。在同一类别和同一模型快照下,分数越高,表示图像与该类别的匹配程度越高。请勿将这些分数解读为经过校准的概率,也不要将 0.5 视为通用阈值。 |
category_applied_input_types |
分类器对每个类别评估的输入类型。每个类别的值均为 ["image"]。 |
了解分类类别
| 类别 | 信号含义 |
|---|---|
likely-csam |
图像可能含有 CSAM。 |
likely-csam/gen-ai |
图像可能含有 AI 生成的 CSAM。 |
仅凭类别标记无法认定图像属于 CSAM,分类器也不会自动向有关部门报告内容。请遵循您所在组织的审核、升级处理和报告流程。有关如何处理已标记内容的建议,请参阅 CSAM 指南。
排查请求错误
如果请求失败,请确认所选模型为 omni-moderation-csam-latest,使用的是获批组织的 API 密钥,并且请求中只发送了一张符合大小限制的图像。
如果遇到速率限制错误,请查看您所在组织的速率限制,并参阅速率限制指南。
申请访问权限
要申请访问权限,请提交分类器使用申请表。