Para ver el índice completo de la documentación, consulta llms.txt. Para ver la versión en Markdown de una página de la documentación, agrega .md al final de la URL de esa página.
Navegación principal
Tema

Clasificador de MASI

Clasifica imágenes en un flujo de trabajo aprobado para la protección infantil.

El clasificador de imágenes de OpenAI ayuda a los equipos de revisión a dar prioridad a las imágenes que podrían contener material de abuso sexual infantil (MASI), incluido el generado por IA.

Las organizaciones autorizadas pueden usar el clasificador sin costo. Solicita acceso.

Cómo funciona

El clasificador recibe una sola imagen y devuelve señales para dos categorías: posible MASI y posible MASI generado por IA. Para usar el clasificador, selecciona omni-moderation-csam-latest como modelo.

Para la moderación general, usa omni-moderation-latest. Este modelo puede marcar contenido sexual en imágenes, pero la categoría sexual/minors solo se aplica al texto.

Clasificar una imagen

Sigue el procedimiento que tu organización haya aprobado para el manejo de los datos de entrada. No envíes material que ya se haya identificado como MASI.

  • Asigna a OPENAI_API_KEY una clave de API de una organización autorizada.
  • Envía una solicitud independiente de creación de una moderación (POST /v1/moderations).
  • Envía exactamente una imagen estática de hasta 20 MB (20 000 000 bytes) en el arreglo input con type: "image_url". Asigna a image_url.url una URL HTTP o HTTPS que apunte a la imagen, o una URL de datos que contenga la imagen codificada en base64. El clasificador no admite la clasificación de texto.

El siguiente ejemplo envía una imagen de jabón al clasificador.

Clasificar una imagen
curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "omni-moderation-csam-latest",
    "input": [
      {
        "type": "image_url",
        "image_url": {
          "url": "https://cdn.openai.com/API/docs/images/soap.png"
        }
      }
    ]
  }'

Ejemplo de respuesta:

{
  "id": "modr_example",
  "model": "omni-moderation-csam-latest",
  "results": [
    {
      "flagged": false,
      "categories": {
        "likely-csam": false,
        "likely-csam/gen-ai": false
      },
      "category_scores": {
        "likely-csam": 0.12,
        "likely-csam/gen-ai": 0.01
      },
      "category_applied_input_types": {
        "likely-csam": ["image"],
        "likely-csam/gen-ai": ["image"]
      }
    }
  ]
}

Interpretar el resultado

Consulta el resultado de la clasificación en results[0]. Revisa primero flagged y luego los indicadores de cada categoría.

Campo de la respuesta Descripción
flagged Indica si el clasificador marcó la imagen.
categories Un indicador booleano por categoría, cuyo valor depende del umbral de decisión configurado para esa categoría.
category_scores Una puntuación de 0 a 1 para cada categoría, sin unidades. Para una misma categoría y versión del modelo, una puntuación más alta indica una mayor coincidencia con la categoría. No interpretes estas puntuaciones como probabilidades calibradas ni des por hecho que 0.5 es un umbral universal.
category_applied_input_types Los tipos de entrada que el clasificador evaluó para cada categoría. Cada valor es ["image"].

Qué indica cada categoría

Categoría Señal
likely-csam Indica la posible presencia de MASI.
likely-csam/gen-ai Indica la posible presencia de MASI generado por IA.

Que el clasificador marque una imagen en una categoría no confirma que la imagen sea MASI. El clasificador tampoco denuncia automáticamente el contenido ante las autoridades. Sigue los procedimientos de tu organización para revisar los casos, remitirlos a una instancia superior y presentar denuncias. Consulta la guía sobre MASI para conocer las recomendaciones sobre el manejo del contenido marcado.

Resolver problemas con una solicitud

Si falla una solicitud, verifica que hayas seleccionado omni-moderation-csam-latest, que hayas usado una clave de API de una organización autorizada y que hayas enviado una sola imagen dentro del límite de tamaño.

El clasificador no admite la moderación en línea ni la API Batch.

Si recibes un error por superar un límite de solicitudes, consulta los límites de tu organización y la guía sobre límites de solicitudes.

Acceso

Para solicitar acceso, envía el formulario de solicitud de acceso al clasificador.