Para ver o índice completo da documentação, consulte llms.txt. Para acessar a versão em Markdown de uma página da documentação, acrescente .md ao final da URL da página.
Navegação principal
Tema

Classificador de CSAM

Classifique imagens em um fluxo de trabalho aprovado para a proteção de crianças.

O classificador de imagens de CSAM da OpenAI ajuda os revisores a priorizar imagens que podem conter material de abuso sexual infantil (CSAM), inclusive material gerado por IA.

O classificador está disponível gratuitamente para organizações aprovadas. Solicite acesso.

Como funciona

O classificador recebe uma imagem e retorna indicadores para duas categorias de conteúdo: possível CSAM e possível CSAM gerado por IA. Para usar o classificador, defina o modelo como omni-moderation-csam-latest.

Para moderação em geral, use omni-moderation-latest. Ele pode sinalizar conteúdo sexual em imagens, mas a categoria sexual/minors se aplica apenas a texto.

Classificar uma imagem

Siga o procedimento aprovado pela sua organização para lidar com os dados de entrada. Não envie material que você sabe ser CSAM.

  • Defina OPENAI_API_KEY com uma chave de API de uma organização aprovada.
  • Envie uma solicitação independente de criação de moderação (POST /v1/moderations).
  • Envie exatamente uma imagem estática de até 20 MB (20.000.000 bytes) no array input, com type: "image_url". Em image_url.url, informe a URL HTTP ou HTTPS da imagem ou uma URL de dados que contenha a imagem codificada em base64. O classificador não oferece suporte à classificação de texto.

O exemplo a seguir envia ao classificador uma imagem de sabão.

Classificar uma imagem
curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "omni-moderation-csam-latest",
    "input": [
      {
        "type": "image_url",
        "image_url": {
          "url": "https://cdn.openai.com/API/docs/images/soap.png"
        }
      }
    ]
  }'

Exemplo de resposta:

{
  "id": "modr_example",
  "model": "omni-moderation-csam-latest",
  "results": [
    {
      "flagged": false,
      "categories": {
        "likely-csam": false,
        "likely-csam/gen-ai": false
      },
      "category_scores": {
        "likely-csam": 0.12,
        "likely-csam/gen-ai": 0.01
      },
      "category_applied_input_types": {
        "likely-csam": ["image"],
        "likely-csam/gen-ai": ["image"]
      }
    }
  ]
}

Interpretar o resultado

Consulte o resultado da classificação em results[0]. Comece pelo campo flagged e, em seguida, verifique os indicadores de cada categoria.

Campo da resposta Descrição
flagged Indica se o classificador sinalizou a imagem.
categories Indicador booleano de cada categoria, definido com base no limiar de decisão configurado para ela.
category_scores Pontuação de 0 a 1 para cada categoria, sem unidade de medida. Ao comparar resultados da mesma categoria e da mesma versão do modelo, pontuações mais altas indicam maior correspondência com a categoria. Não interprete as pontuações como probabilidades calibradas nem presuma que 0.5 seja um limiar universal.
category_applied_input_types Tipos de entrada que o classificador avaliou em cada categoria. O valor de cada categoria é ["image"].

Entender as categorias

Categoria O que o indicador sinaliza
likely-csam Possível CSAM.
likely-csam/gen-ai Possível CSAM gerado por IA.

A sinalização em uma categoria não confirma que a imagem seja CSAM, e o classificador não denuncia conteúdo automaticamente às autoridades. Siga os procedimentos de revisão, escalonamento e denúncia da sua organização. Consulte as orientações sobre CSAM para saber como lidar com conteúdo sinalizado.

Resolver problemas em uma solicitação

Se uma solicitação falhar, verifique se você selecionou omni-moderation-csam-latest, usou uma chave de API de uma organização aprovada e enviou uma única imagem dentro do limite de tamanho.

O classificador não oferece suporte à moderação em linha nem à API Batch.

Se ocorrer um erro de limite de taxa, consulte os limites da sua organização e as orientações sobre limites de taxa.

Acesso

Para solicitar acesso, envie o formulário de solicitação de acesso ao classificador.