El clasificador de imágenes de OpenAI ayuda a los equipos de revisión a dar prioridad a las imágenes que podrían contener material de abuso sexual infantil (MASI), incluido el generado por IA.
Las organizaciones autorizadas pueden usar el clasificador sin costo. Solicita acceso.
Cómo funciona
El clasificador recibe una sola imagen y devuelve señales para dos categorías: posible MASI y posible MASI generado por IA. Para usar el clasificador, selecciona omni-moderation-csam-latest como modelo.
Para la moderación general, usa omni-moderation-latest. Este modelo puede marcar contenido sexual en imágenes, pero la categoría sexual/minors solo se aplica al texto.
Clasificar una imagen
Sigue el procedimiento que tu organización haya aprobado para el manejo de los datos de entrada. No envíes material que ya se haya identificado como MASI.
- Asigna a
OPENAI_API_KEYuna clave de API de una organización autorizada. - Envía una solicitud independiente de creación de una moderación (
POST /v1/moderations). - Envía exactamente una imagen estática de hasta 20 MB (20 000 000 bytes) en el arreglo
inputcontype: "image_url". Asigna aimage_url.urluna URL HTTP o HTTPS que apunte a la imagen, o una URL de datos que contenga la imagen codificada en base64. El clasificador no admite la clasificación de texto.
El siguiente ejemplo envía una imagen de jabón al clasificador.
curl https://api.openai.com/v1/moderations \
-X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "omni-moderation-csam-latest",
"input": [
{
"type": "image_url",
"image_url": {
"url": "https://cdn.openai.com/API/docs/images/soap.png"
}
}
]
}'Ejemplo de respuesta:
{
"id": "modr_example",
"model": "omni-moderation-csam-latest",
"results": [
{
"flagged": false,
"categories": {
"likely-csam": false,
"likely-csam/gen-ai": false
},
"category_scores": {
"likely-csam": 0.12,
"likely-csam/gen-ai": 0.01
},
"category_applied_input_types": {
"likely-csam": ["image"],
"likely-csam/gen-ai": ["image"]
}
}
]
}
Interpretar el resultado
Consulta el resultado de la clasificación en results[0]. Revisa primero flagged y luego los indicadores de cada categoría.
| Campo de la respuesta | Descripción |
|---|---|
flagged |
Indica si el clasificador marcó la imagen. |
categories |
Un indicador booleano por categoría, cuyo valor depende del umbral de decisión configurado para esa categoría. |
category_scores |
Una puntuación de 0 a 1 para cada categoría, sin unidades. Para una misma categoría y versión del modelo, una puntuación más alta indica una mayor coincidencia con la categoría. No interpretes estas puntuaciones como probabilidades calibradas ni des por hecho que 0.5 es un umbral universal. |
category_applied_input_types |
Los tipos de entrada que el clasificador evaluó para cada categoría. Cada valor es ["image"]. |
Qué indica cada categoría
| Categoría | Señal |
|---|---|
likely-csam |
Indica la posible presencia de MASI. |
likely-csam/gen-ai |
Indica la posible presencia de MASI generado por IA. |
Que el clasificador marque una imagen en una categoría no confirma que la imagen sea MASI. El clasificador tampoco denuncia automáticamente el contenido ante las autoridades. Sigue los procedimientos de tu organización para revisar los casos, remitirlos a una instancia superior y presentar denuncias. Consulta la guía sobre MASI para conocer las recomendaciones sobre el manejo del contenido marcado.
Resolver problemas con una solicitud
Si falla una solicitud, verifica que hayas seleccionado omni-moderation-csam-latest, que hayas usado una clave de API de una organización autorizada y que hayas enviado una sola imagen dentro del límite de tamaño.
El clasificador no admite la moderación en línea ni la API Batch.
Si recibes un error por superar un límite de solicitudes, consulta los límites de tu organización y la guía sobre límites de solicitudes.
Acceso
Para solicitar acceso, envía el formulario de solicitud de acceso al clasificador.