O classificador de imagens de CSAM da OpenAI ajuda os revisores a priorizar imagens que podem conter material de abuso sexual infantil (CSAM), inclusive material gerado por IA.
O classificador está disponível gratuitamente para organizações aprovadas. Solicite acesso.
Como funciona
O classificador recebe uma imagem e retorna indicadores para duas categorias de conteúdo: possível CSAM e possível CSAM gerado por IA. Para usar o classificador, defina o modelo como omni-moderation-csam-latest.
Para moderação em geral, use omni-moderation-latest. Ele pode sinalizar conteúdo sexual em imagens, mas a categoria sexual/minors se aplica apenas a texto.
Classificar uma imagem
Siga o procedimento aprovado pela sua organização para lidar com os dados de entrada. Não envie material que você sabe ser CSAM.
- Defina
OPENAI_API_KEYcom uma chave de API de uma organização aprovada. - Envie uma solicitação independente de criação de moderação (
POST /v1/moderations). - Envie exatamente uma imagem estática de até 20 MB (20.000.000 bytes) no array
input, comtype: "image_url". Emimage_url.url, informe a URL HTTP ou HTTPS da imagem ou uma URL de dados que contenha a imagem codificada em base64. O classificador não oferece suporte à classificação de texto.
O exemplo a seguir envia ao classificador uma imagem de sabão.
curl https://api.openai.com/v1/moderations \
-X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "omni-moderation-csam-latest",
"input": [
{
"type": "image_url",
"image_url": {
"url": "https://cdn.openai.com/API/docs/images/soap.png"
}
}
]
}'Exemplo de resposta:
{
"id": "modr_example",
"model": "omni-moderation-csam-latest",
"results": [
{
"flagged": false,
"categories": {
"likely-csam": false,
"likely-csam/gen-ai": false
},
"category_scores": {
"likely-csam": 0.12,
"likely-csam/gen-ai": 0.01
},
"category_applied_input_types": {
"likely-csam": ["image"],
"likely-csam/gen-ai": ["image"]
}
}
]
}
Interpretar o resultado
Consulte o resultado da classificação em results[0]. Comece pelo campo flagged e, em seguida, verifique os indicadores de cada categoria.
| Campo da resposta | Descrição |
|---|---|
flagged |
Indica se o classificador sinalizou a imagem. |
categories |
Indicador booleano de cada categoria, definido com base no limiar de decisão configurado para ela. |
category_scores |
Pontuação de 0 a 1 para cada categoria, sem unidade de medida. Ao comparar resultados da mesma categoria e da mesma versão do modelo, pontuações mais altas indicam maior correspondência com a categoria. Não interprete as pontuações como probabilidades calibradas nem presuma que 0.5 seja um limiar universal. |
category_applied_input_types |
Tipos de entrada que o classificador avaliou em cada categoria. O valor de cada categoria é ["image"]. |
Entender as categorias
| Categoria | O que o indicador sinaliza |
|---|---|
likely-csam |
Possível CSAM. |
likely-csam/gen-ai |
Possível CSAM gerado por IA. |
A sinalização em uma categoria não confirma que a imagem seja CSAM, e o classificador não denuncia conteúdo automaticamente às autoridades. Siga os procedimentos de revisão, escalonamento e denúncia da sua organização. Consulte as orientações sobre CSAM para saber como lidar com conteúdo sinalizado.
Resolver problemas em uma solicitação
Se uma solicitação falhar, verifique se você selecionou omni-moderation-csam-latest, usou uma chave de API de uma organização aprovada e enviou uma única imagem dentro do limite de tamanho.
O classificador não oferece suporte à moderação em linha nem à API Batch.
Se ocorrer um erro de limite de taxa, consulte os limites da sua organização e as orientações sobre limites de taxa.
Acesso
Para solicitar acesso, envie o formulário de solicitação de acesso ao classificador.