Le classificateur d’images d’OpenAI aide les équipes de modération à examiner en priorité les images susceptibles de contenir du matériel pédopornographique, y compris du matériel généré par l’IA.
Les organisations approuvées peuvent utiliser gratuitement le classificateur. Demander l’accès.
Fonctionnement
Le classificateur analyse une seule image par requête et renvoie deux signaux. Le premier indique que l’image pourrait contenir du matériel pédopornographique, le second qu’elle pourrait contenir du matériel pédopornographique généré par l’IA. Pour utiliser le classificateur, sélectionnez le modèle omni-moderation-csam-latest.
Pour la modération générale, utilisez omni-moderation-latest. Ce modèle peut signaler du contenu sexuel dans les images, mais sa catégorie sexual/minors s’applique uniquement au texte.
Classer une image
Suivez la procédure approuvée par votre organisation pour le traitement des données d’entrée. Ne soumettez aucune image dont vous savez qu’elle contient du matériel pédopornographique.
- Attribuez à
OPENAI_API_KEYla valeur d’une clé API d’une organisation approuvée. - Envoyez une requête indépendante de création d’une modération (
POST /v1/moderations). - Envoyez une seule image fixe de 20 Mo (20 000 000 octets) maximum dans le tableau
input, avectype: "image_url". Pourimage_url.url, indiquez une URL HTTP ou HTTPS pointant vers l’image, ou une URL de données contenant l’image encodée en base64. Le classificateur ne prend pas en charge la classification de texte.
L’exemple suivant envoie une image de savon au classificateur.
curl https://api.openai.com/v1/moderations \
-X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "omni-moderation-csam-latest",
"input": [
{
"type": "image_url",
"image_url": {
"url": "https://cdn.openai.com/API/docs/images/soap.png"
}
}
]
}'Exemple de réponse :
{
"id": "modr_example",
"model": "omni-moderation-csam-latest",
"results": [
{
"flagged": false,
"categories": {
"likely-csam": false,
"likely-csam/gen-ai": false
},
"category_scores": {
"likely-csam": 0.12,
"likely-csam/gen-ai": 0.01
},
"category_applied_input_types": {
"likely-csam": ["image"],
"likely-csam/gen-ai": ["image"]
}
}
]
}
Interpréter le résultat
Consultez le résultat de la classification dans results[0]. Vérifiez d’abord la valeur de flagged, puis les indicateurs de chaque catégorie.
| Champ de la réponse | Description |
|---|---|
flagged |
Indique si le classificateur a signalé l’image. |
categories |
Un indicateur booléen par catégorie, déterminé par le seuil de décision configuré pour cette catégorie. |
category_scores |
Un score sans unité compris entre 0 et 1 pour chaque catégorie. Pour une même catégorie et une même version du modèle, un score plus élevé indique une correspondance plus forte. N’interprétez pas ces scores comme des probabilités calibrées et ne supposez pas que 0.5 est un seuil universel. |
category_applied_input_types |
Les types d’entrée évalués pour chaque catégorie. Chaque valeur est ["image"]. |
Comprendre les catégories
| Catégorie | Signal |
|---|---|
likely-csam |
Présence possible de matériel pédopornographique. |
likely-csam/gen-ai |
Présence possible de matériel pédopornographique généré par l’IA. |
Le signalement d’une image dans une catégorie ne suffit pas à établir qu’elle constitue du matériel pédopornographique. Le classificateur ne signale pas automatiquement les contenus aux autorités. Suivez les procédures de votre organisation pour l’examen des contenus, leur transmission au niveau compétent et leur signalement. Consultez les recommandations relatives au matériel pédopornographique pour savoir comment traiter les contenus signalés.
Résoudre les erreurs de requête
Si une requête échoue, vérifiez que vous avez sélectionné omni-moderation-csam-latest, utilisé une clé API d’une organisation approuvée et envoyé une seule image dont la taille respecte la limite.
Le classificateur ne prend en charge ni la modération intégrée à la génération de contenu ni l’API Batch.
En cas d’erreur liée à une limite de débit, consultez les limites de votre organisation et les recommandations relatives aux limites de débit.
Accès
Pour demander l’accès, remplissez et envoyez le formulaire de demande d’accès au classificateur.