Guide de lutte contre le matériel pédopornographique

Intégrez la protection des enfants dès la conception

OpenAI fixe des exigences claires aux développeurs en matière de protection des enfants. Il vous incombe de veiller à ce que vos utilisateurs respectent les lois applicables lorsqu’ils utilisent les services d’OpenAI, notamment celles qui répriment les abus sexuels sur mineurs et l’exploitation sexuelle des mineurs. N’utilisez jamais les services d’OpenAI pour exploiter, mettre en danger ou sexualiser une personne de moins de 18 ans. Consultez les politiques d’utilisation d’OpenAI.

L’exploitation sexuelle des enfants et les abus sexuels sur mineurs en ligne concernent de nombreux produits et services, y compris ceux qui ne s’adressent pas aux enfants. OpenAI souhaite aider les développeurs à déterminer quelles mesures prendre pour lutter contre ces abus.

Réfléchissez le plus tôt possible aux usages abusifs de votre produit. En intégrant d’emblée des mesures de protection des enfants, vous pourrez les faire évoluer à mesure que votre produit se développe, sans avoir à les ajouter après coup à un produit ou à un système déjà complexe. Quelle que soit leur taille, les équipes de développement et les organisations devraient évaluer les différents usages de leurs produits susceptibles de nuire aux enfants : création ou diffusion de matériel pédopornographique, mise en confiance d’un enfant à des fins sexuelles, chantage sexuel, sexualisation des enfants, diffusion d’abus en direct et traite d’enfants. Cette évaluation est particulièrement importante pour les produits qui proposent une messagerie, l’importation de contenus, la retouche d’images, la diffusion en direct, des fonctionnalités de découverte ou des paiements.

Ce guide porte sur le matériel pédopornographique et propose aux développeurs des mesures concrètes pour protéger les enfants.

Par où commencer ?

Il peut être difficile de savoir par où commencer. Le choix des solutions et la façon de les mettre en œuvre dépendent de la taille de votre organisation, de son degré de maturité et des ressources dont elle dispose.

La liste ci-dessous vous aidera à prendre les premières mesures contre le matériel pédopornographique. Commencez à réduire le risque dès maintenant, sans attendre de disposer de tous les outils ou d’avoir achevé chaque étape.

Prévention

Fixez des règles claires pour votre produit ou service et donnez aux utilisateurs un moyen de vous faire part de ce qu’ils y rencontrent.

• Fixez des règles claires. Interdisez l’exploitation sexuelle des enfants et les abus sexuels sur mineurs dans vos conditions d’utilisation, votre politique d’utilisation acceptable ou vos règles communautaires. Consultez les ressources de la TSPA ou le programme Pathways proposé gratuitement par la Tech Coalition. Vous y trouverez des conseils de spécialistes et des outils pratiques, notamment une ressource sur les normes externes qui interdisent l’exploitation sexuelle des enfants et les abus sexuels sur mineurs en ligne.
• Permettez aux utilisateurs de faire un signalement. Proposez-leur un moyen bien visible de signaler un contenu ou un comportement potentiellement préjudiciable. Transmettez les signalements à une file d’attente ou à un autre point de réception que votre équipe surveille, avec suffisamment d’informations pour qu’elle puisse décider des suites à donner au regard de vos règles. Pour en savoir plus, consultez les recommandations de l’eSafety Commissioner en Australie.
• Assurez le suivi des fichiers importés et des utilisateurs grâce aux identifiants de sécurité. Dans votre produit ou service, associez chaque fichier importé à l’utilisateur qui l’a envoyé. L’envoi d’identifiants de sécurité dans les requêtes OpenAI qui les prennent en charge peut aider OpenAI à surveiller les activités et à détecter les abus. Si OpenAI détecte des violations de ses politiques dans votre produit ou service, ces identifiants peuvent l’aider à transmettre à votre équipe des informations sur lesquelles elle pourra agir. Les identifiants de sécurité peuvent aussi aider votre équipe à intervenir plus rapidement. Ils permettent de rattacher durablement une activité à un utilisateur final précis et réduisent le risque que les abus d’un utilisateur perturbent l’accès au service pour le reste de votre organisation. Utilisez une chaîne de caractères unique pour représenter chaque utilisateur. Pour protéger la vie privée, hachez les adresses e-mail ou les noms d’utilisateur avant de les envoyer afin d’éviter de divulguer des informations permettant d’identifier une personne. Si vous appelez directement l’API Images, transmettez le même identifiant stable dans safety_identifier pour la génération d’images et la retouche d’images. Le paramètre user est obsolète, mais reste pris en charge pour assurer la rétrocompatibilité.

Pour aller plus loin, envisagez d’autres mesures de prévention :

• Mettez en place un blocage ou un refus préventif pour les mots-clés ou les URL liés au matériel pédopornographique. Pour en savoir plus, consultez les ressources de l’IWF.
• Affichez des avertissements ou des messages lorsqu’un utilisateur tente de se livrer à une activité liée au matériel pédopornographique. Pour en savoir plus, consultez les ressources de Stop It Now.
• Si votre service est accessible aux enfants et qu’un utilisateur vous indique que des images ou des vidéos à caractère sexuel le représentant se trouvent sur votre plateforme, orientez-le vers un service d’aide. Le programme Report Remove de l’IWF et de la NSPCC permet aux enfants au Royaume-Uni de signaler des images et des vidéos pour en demander le retrait ou le blocage. Le NCMEC propose également le service Take It Down.
• Si vous apprenez qu’un enfant court un danger immédiat ou imminent :
  • Alertez les services d’urgence, par exemple les forces de l’ordre locales.
  • Indiquez à l’enfant comment contacter les services d’urgence.

Détection

Repérez les contenus ou comportements susceptibles d’enfreindre vos règles afin de les examiner et de prendre les mesures appropriées.

Utilisez les outils de détection du matériel pédopornographique à votre disposition :

• Comparaison d’empreintes perceptuelles. Si votre produit permet d’importer, de stocker ou de traiter des images ou des vidéos, envisagez de mettre en place la comparaison d’empreintes perceptuelles. Cette technologie crée une empreinte numérique de l’image ou de la vidéo et la compare aux empreintes de matériel pédopornographique connu. Elle aide ainsi à reconnaître un contenu déjà identifié, même si le fichier a été redimensionné, compressé ou modifié d’une autre manière. Vous devez disposer à la fois d’une technologie de comparaison d’empreintes, comme PhotoDNA, et de listes qui répertorient les empreintes de matériel pédopornographique connu. Certains services ne fournissent que l’un des deux.
  • Technologies de comparaison d’empreintes recommandées :
    • Safer by Thorn propose un outil spécialement conçu pour détecter le matériel pédopornographique connu dans les images et les vidéos.
    • La Tech Coalition propose aux entreprises éligibles des sous-licences pour PhotoDNA de Microsoft dans le cadre de son programme gratuit Pathways .
    • Technologie de comparaison d’empreintes PDQ de Meta .
    • La technologie CSAI Match de YouTube compare les empreintes pour repérer le matériel pédopornographique connu dans les vidéos.
  • Listes d’empreintes de matériel pédopornographique recommandées :
    • Le NCMEC fournit des listes d’empreintes de matériel pédopornographique connu, de contenus relevant de l’exploitation et de matériel pédopornographique produit par IA générative. Contactez son équipe chargée des fournisseurs de services en ligne.
    • L’IWF propose Image Intercept, un service de comparaison d’empreintes destiné aux petites entreprises et aux startups éligibles. Son intégration demande peu de connaissances techniques.
• Classificateurs de détection du matériel pédopornographique encore inconnu. Ces outils peuvent détecter du matériel pédopornographique inconnu ou jamais observé auparavant.
  • Safer by Thorn propose des classificateurs conçus pour repérer, dans les images et les vidéos, ce qui pourrait être du matériel pédopornographique encore inconnu. Ils peuvent aussi repérer dans les textes des indices d’exploitation.
  • La Content Safety API de Google utilise l’IA pour classer les images et les vidéos et leur attribuer un niveau de priorité pour examen. Plus le classificateur attribue une priorité élevée à un contenu, plus celui-ci est susceptible de contenir du matériel pédopornographique.
• Identification des auteurs d’abus et application des règles. Appuyez-vous sur les identifiants et les informations disponibles, tels que les noms d’utilisateur, les adresses e-mail et les identifiants d’appareils. Envisagez de bannir définitivement les comptes utilisés pour enfreindre ou tenter d’enfreindre vos règles relatives au matériel pédopornographique, ou de prendre d’autres mesures pour entraver leur activité. Repérez les récidivistes qui tentent de contourner les sanctions.

Intervention et signalement

Veillez à ce que votre produit et votre équipe vous permettent de prendre les mesures appropriées lorsque vous apprenez que du matériel pédopornographique est présent sur votre service.

• Inscrivez-vous auprès d’un organisme de signalement et préparez-vous à signaler le matériel pédopornographique aux autorités. Inscrivez-vous auprès du NCMEC ou de votre service local de signalement. Déterminez quelles informations permettront au NCMEC de donner suite à un signalement et de contribuer à la protection de l’enfant. Fournissez autant d’informations que possible pour faciliter la transmission du signalement aux autorités compétentes et l’identification de la personne suspectée. La documentation du NCMEC sur les champs de signalement précise notamment comment renseigner les adresses IP, les identifiants d’appareils et d’autres données.

• Conservez des dossiers et des identifiants exploitables. Lorsque vous faites un signalement, conservez une trace de l’incident et toutes les données associées susceptibles d’aider à identifier les auteurs des violations. Vous pourrez ainsi répondre aux demandes des forces de l’ordre.
• Rédigez une procédure d’intervention. Précisez qui examine les signalements, comment transmettre les cas urgents aux responsables en interne et aux interlocuteurs externes, quelles mesures prendre à l’encontre des utilisateurs qui enfreignent les règles et qui peut prendre ces décisions. Cette ressource de la TSPA peut vous aider à organiser l’application de vos règles.
• Envisagez de constituer un réseau de spécialistes de confiance, notamment l’IWF et d’autres services de signalement, qui pourront mettre leur expertise à profit pour vous signaler du matériel pédopornographique.
• Formez et accompagnez les personnes concernées. L’intervention humaine est importante. Vérifiez que les personnes chargées de l’examen des contenus, les équipes d’assistance et le personnel d’astreinte connaissent vos règles, la procédure à suivre pour transmettre un cas et les limites des systèmes automatisés.
• Utilisez les outils dont vous avez besoin pour modérer les contenus ou intervenir en cas d’abus. D’autres outils peuvent vous aider à réduire les risques pour les enfants et à intervenir lorsqu’ils subissent un préjudice :
  • L’API de modération détecte les contenus potentiellement préjudiciables dans les textes et les images. Pour en savoir plus, consultez la documentation du modèle omni-moderation-latest. Cette API ne remplace pas un outil dédié à la détection du matériel pédopornographique. Elle comprend toutefois une catégorie sexual/minors pour les contenus à caractère sexuel impliquant des personnes de moins de 18 ans. Cette catégorie s’applique uniquement aux textes. Utilisez les résultats pour :
    • bloquer ou filtrer des contenus ;
    • soumettre des contenus à un examen humain ;
    • intervenir sur un compte ;
    • compliquer les tentatives d’abus répétés et appliquer les mesures prévues pour votre produit ou service.
  • Envisagez d’autres outils de modération adaptés à vos besoins. Par exemple, Coop de ROOST est une console de modération open source qui permet de trier les cas de violation potentielle de vos règles dans les textes, les contenus multimédias et les profils. Elle prend en charge l’examen humain et automatisé, tient compte du bien-être des équipes de modération et permet de gérer les workflows de modération de bout en bout, y compris les signalements à la CyberTipline du NCMEC.

Pour aller plus loin, envisagez d’autres mesures d’intervention et de signalement :

• Soutenez les personnes qui luttent contre le matériel pédopornographique. Les organisations devraient investir dans la formation et l’accompagnement des personnes chargées d’examiner ce matériel, ainsi que dans un programme consacré à leur bien-être. Consultez les recommandations de WeProtect .
• Faites appel à des spécialistes. Vous pouvez commencer même avec une petite équipe chargée de la confiance et de la sécurité. La Tech Coalition propose plusieurs moyens de renforcer les dispositifs de protection des enfants :
  • Pathways est un programme gratuit qui aide les entreprises à développer leurs compétences. Il s’adresse en particulier aux startups et aux plateformes de petite et moyenne taille, mais reste ouvert aux entreprises de toutes tailles. Il propose des ressources pratiques, des conseils et un accompagnement pour aider les entreprises à mettre en place des mesures solides de protection des enfants. Les entreprises éligibles peuvent également demander une sous-licence PhotoDNA dans le cadre de Pathways.
  • Elevate propose des conseils personnalisés et un accompagnement dans leur mise en œuvre aux entreprises qui souhaitent une aide concrète pour renforcer leurs programmes de protection des enfants et répondre à des risques précis.
  • L’adhésion à la Tech Coalition permet aux entreprises de participer aux efforts de leur secteur à l’échelle mondiale pour lutter contre l’exploitation sexuelle des enfants et les abus sexuels sur mineurs en ligne. Elles peuvent échanger avec leurs pairs, partager leur expertise et contribuer aux actions collectives. Contactez l’équipe de la Tech Coalition pour un premier entretien.
  • Pour plus de conseils, les développeurs peuvent consulter les bonnes pratiques en matière de protection des enfants de la Tech Coalition.

Adaptez les mesures de protection à l’évolution de votre produit

Le choix des contrôles et des mesures de protection dépend du produit, de son stade de développement et de sa maturité, de ses utilisateurs et de ses fonctionnalités, des régions où il est proposé et des ressources disponibles.

Si votre produit est particulièrement exposé aux risques, par exemple parce qu’il permet la diffusion en direct, la génération d’images ou leur retouche, le stockage de fichiers ou les échanges privés entre utilisateurs, envisagez de mettre en place et de renforcer les mesures suivantes :

• Évaluez les risques liés au produit avant son lancement et chaque fois qu’une fonctionnalité à haut risque est modifiée. Consultez les recommandations de l’Ofcom sur l’évaluation des risques.
• Combinez plusieurs méthodes de détection adaptées au service, par exemple la comparaison d’empreintes, les classificateurs d’images ou de vidéos, le repérage d’indices dans les textes, la détection de mots-clés et le blocage d’URL.
• Faites examiner par une personne les signaux dont le degré de confiance est élevé ou qui indiquent un cas grave. Utilisez des outils qui préservent le bien-être des équipes et limitent leur exposition inutile aux contenus préjudiciables.
• Appliquez des limites de débit, mettez en place des contrôles sur les comptes et surveillez les abus pour rendre la récidive plus difficile.
• Effectuez régulièrement des tests et mesurez l’efficacité de vos contrôles pour en repérer les lacunes, suivre les résultats et améliorer vos mesures.

Ces recommandations constituent un point de départ. Elles ne constituent ni un avis juridique ni une norme de diligence universelle. Adaptez-les à votre service, à votre profil de risque et à la législation applicable.