Recommandations concernant le matériel pédopornographique

Intégrez la protection des enfants dès la conception

L’exploitation sexuelle des enfants et les abus sexuels sur enfants en ligne touchent de nombreux produits et services, y compris ceux qui ne s’adressent pas aux enfants. OpenAI souhaite aider les développeurs à comprendre les mesures à envisager pour lutter contre ces abus.

Dès que possible, réfléchissez aux usages abusifs qui pourraient être faits de votre produit. Commencez tôt pour que les mesures de protection des enfants puissent évoluer avec votre produit, plutôt que de devoir les intégrer après coup à un produit ou à un système déjà complexe. Les équipes de développement et les organisations de toutes tailles devraient évaluer comment leurs produits pourraient être détournés à des fins préjudiciables : matériel pédopornographique, sollicitation d’enfants à des fins sexuelles, extorsion sexuelle, sexualisation des enfants, abus diffusés en direct ou traite des êtres humains. Cette évaluation est particulièrement importante si leurs produits proposent des fonctions de messagerie, de téléversement de contenus, de retouche d’images, de diffusion en direct, de découverte de contenus ou de paiement.

Cette ressource porte sur le matériel pédopornographique et propose aux développeurs des recommandations pratiques pour protéger les enfants.

Par où commencer

Il peut être difficile de savoir par où commencer. Les solutions adaptées et les modalités de mise en œuvre dépendent de la taille de votre organisation, de sa maturité et des ressources dont elle dispose.

La liste suivante constitue un bon point de départ pour lutter contre le matériel pédopornographique. L’essentiel est de commencer à réduire le risque : n’attendez pas de disposer de tous les outils ou d’avoir terminé toutes les étapes pour agir.

Prévention

Définissez des règles claires pour votre produit ou service et mettez en place des mécanismes permettant aux utilisateurs de vous faire part de leurs expériences.

• Définissez des règles claires. Interdisez l’exploitation sexuelle des enfants et les abus sexuels sur enfants dans vos conditions d’utilisation, votre politique d’utilisation acceptable ou vos règles communautaires. Pour en savoir plus, consultez TSPA ou l’offre gratuite de la Tech Coalition, le programme Pathways pour obtenir des conseils d’experts et des outils pratiques, notamment une ressource sur les normes externes qui interdisent l’exploitation sexuelle des enfants et les abus sexuels sur enfants en ligne.
• Permettez aux utilisateurs d’effectuer des signalements. Proposez aux utilisateurs un moyen bien visible de signaler les contenus ou comportements potentiellement préjudiciables. Acheminez ces signalements vers une file de traitement ou un espace régulièrement consulté, avec suffisamment d’informations pour décider des mesures à prendre au regard de vos règles. Pour plus de recommandations, consultez l’autorité australienne eSafety Commissioner.
• Assurez le suivi des téléversements et des utilisateurs grâce aux identifiants de sécurité. Dans votre produit ou service, associez chaque téléversement à un utilisateur. L’envoi d’identifiants de sécurité avec les requêtes OpenAI compatibles peut aider OpenAI à surveiller et à détecter les abus. Cela peut permettre à OpenAI de fournir à votre équipe des retours plus exploitables si OpenAI détecte des violations de ses règles dans votre produit ou service. Les identifiants de sécurité peuvent également aider votre équipe à réagir aux abus plus rapidement. Ils permettent de rattacher de manière stable une activité à un utilisateur final et réduisent le risque que l’usage abusif d’un seul utilisateur perturbe l’accès de l’ensemble de votre organisation. Utilisez une chaîne unique pour représenter chaque utilisateur. Pour protéger la vie privée, hachez les adresses e-mail ou les noms d’utilisateur avant de les envoyer afin d’éviter de divulguer des informations permettant d’identifier une personne. L’API Images utilisée directement emploie un autre paramètre à cette fin : transmettez le même identifiant stable dans user pour la génération d’images et la modification d’images.

Lorsque vous êtes prêt à aller plus loin, envisagez d’autres mesures de prévention :

• Ajoutez des mécanismes préventifs de blocage ou de refus pour les mots-clés ou les URL liés au matériel pédopornographique. Pour en savoir plus, consultez l’ IWF .
• Adressez des avertissements ou des messages aux utilisateurs qui tentent d’adopter des comportements liés au matériel pédopornographique. Pour en savoir plus, consultez Stop It Now .
• Si votre service est accessible aux enfants et qu’un utilisateur vous indique que des images ou vidéos à caractère sexuel le représentant se trouvent sur votre plateforme, orientez-le vers des services d’assistance, comme celui de l’IWF et de la NSPCC, Report Remove , un programme qui permet aux enfants au Royaume-Uni de signaler des images et des vidéos pour en demander le retrait ou le blocage, ou celui du NCMEC, Take It Down , un service d’assistance.
• Si vous apprenez qu’un enfant est exposé à un danger immédiat ou imminent :
  • Signalez la situation aux services d’urgence, notamment aux forces de l’ordre locales.
  • Expliquez à l’enfant comment contacter les services d’urgence.

Détection

Repérez les contenus ou comportements susceptibles d’enfreindre les règles afin de les examiner et de prendre les mesures appropriées.

Utilisez des outils accessibles de détection du matériel pédopornographique :

• Comparaison d’empreintes perceptuelles. Si votre produit permet de téléverser, de stocker ou de traiter des médias visuels, envisagez de mettre en place une comparaison d’empreintes perceptuelles. Cette technologie crée une empreinte numérique d’une image ou d’une vidéo et la compare aux empreintes de matériel pédopornographique connu. Elle aide ainsi à reconnaître ces contenus même après un redimensionnement, une compression ou toute autre modification du fichier. Vous devez avoir accès à la fois à une technologie de comparaison d’empreintes, comme PhotoDNA, et à des listes d’empreintes de matériel pédopornographique, qui regroupent les empreintes de contenus connus. Tous les services ne fournissent pas les deux.
  • Technologies de comparaison d’empreintes recommandées :
    • Safer by Thorn propose une solution spécialement conçue pour détecter le matériel pédopornographique connu dans les images et les vidéos.
    • La Tech Coalition propose aux entreprises éligibles des sous-licences pour PhotoDNA de Microsoft dans le cadre de son offre gratuite, le programme Pathways .
    • La technologie de comparaison d’empreintes PDQ de Meta .
    • Chez YouTube, CSAI Match permet de comparer des empreintes numériques pour identifier du matériel pédopornographique connu dans les vidéos.
  • Listes recommandées d’empreintes de matériel pédopornographique :
    • Le NCMEC propose des listes de matériel pédopornographique connu, de contenus d’exploitation et de matériel pédopornographique produit par IA générative. Contactez son équipe chargée des fournisseurs de services électroniques.
    • L’IWF propose Image Intercept , un service de comparaison d’empreintes destiné aux petites entreprises et aux startups éligibles, dont l’intégration nécessite peu de compétences techniques.
• Classificateurs de détection de matériel pédopornographique inédit. Ces outils peuvent détecter du matériel pédopornographique inconnu ou jamais observé auparavant.
  • Safer by Thorn propose des classificateurs conçus pour identifier du matériel pédopornographique potentiellement inédit dans les images et les vidéos, ainsi que des indices pertinents d’exploitation dans les textes.
  • L’outil de Google Content Safety API utilise l’IA pour classer les images et les vidéos et leur attribuer un niveau de priorité d’examen. Plus la priorité attribuée par le classificateur est élevée, plus le média est susceptible de contenir du matériel pédopornographique.
• Détectez les acteurs malveillants et appliquez des sanctions. À partir des identifiants et des informations disponibles, tels que les noms d’utilisateur, les adresses e-mail et les identifiants d’appareil, envisagez de bannir définitivement ou de restreindre autrement les comptes utilisés pour enfreindre ou tenter d’enfreindre les règles relatives au matériel pédopornographique. Surveillez les récidivistes qui tentent de contourner les sanctions.

Intervention et signalement

Assurez-vous que votre produit et votre équipe permettent de prendre les mesures appropriées lorsque vous découvrez la présence de matériel pédopornographique sur votre service.

• Inscrivez-vous et préparez-vous à signaler le matériel pédopornographique aux autorités. Inscrivez-vous auprès du NCMEC ou de votre service local de signalement. Déterminez ce qui rend un signalement au NCMEC exploitable et comment il peut contribuer à la protection des enfants. Fournissez autant d’informations que possible pour faciliter la transmission du signalement aux autorités territorialement compétentes et l’identification du suspect. Le NCMEC fournit une documentation des champs de signalement qui couvre les adresses IP, les identifiants d’appareil et d’autres données.

• Conservez des dossiers et des identifiants exploitables. Lorsque vous effectuez un signalement, conservez la documentation de l’incident et toutes les données associées susceptibles d’aider à identifier les auteurs des violations, afin de pouvoir répondre aux demandes des forces de l’ordre.
• Rédigez un guide d’intervention. Définissez qui examine les signalements, comment transmettre les cas urgents aux interlocuteurs compétents en interne et en externe, quelles mesures prendre à l’encontre des utilisateurs responsables de violations et qui peut prendre ces décisions. Cette ressource de la TSPA peut vous aider à organiser l’application de vos règles.
• Envisagez de constituer un réseau de spécialistes de confiance, comprenant des organisations comme l’IWF et d’autres services de signalement, qui pourront mettre leur expertise à profit pour vous signaler du matériel pédopornographique.
• Formez et accompagnez les personnes concernées. Il est important de maintenir une intervention humaine dans le processus. Assurez-vous que les personnes chargées de l’examen, les équipes d’assistance et le personnel d’astreinte comprennent vos règles, votre procédure de remontée des cas et les limites des systèmes automatisés.
• Utilisez les outils nécessaires pour modérer les contenus ou réagir aux abus. D’autres outils peuvent vous aider à faire face aux risques et aux préjudices qui menacent la sécurité des enfants :
  • L’API de modération détecte les contenus potentiellement préjudiciables dans les textes et les images. Pour en savoir plus, consultez la documentation du modèle omni-moderation-latest. Elle ne remplace pas les outils spécialisés dans la détection de matériel pédopornographique. Elle comprend néanmoins une catégorie sexual/minors couvrant les contenus sexuels impliquant des personnes de moins de 18 ans ; cette catégorie concerne uniquement le texte. Utilisez les résultats pour :
    • Bloquer ou filtrer les contenus.
    • Soumettre les contenus à un examen humain.
    • Intervenir sur un compte.
    • Rendre les usages abusifs répétés plus difficiles et appliquer des sanctions propres au produit ou au service.
  • Envisagez d’autres outils de modération qui pourraient vous être utiles. Par exemple, Coop de ROOST est une console d’examen open source permettant de trier les violations potentielles des règles dans les textes, les contenus multimédias et les profils. Elle prend en charge l’examen humain et automatisé, privilégie le bien-être des personnes chargées de l’examen et permet de gérer des workflows de modération de bout en bout, y compris les signalements à la CyberTipline du NCMEC.

Lorsque vous êtes prêts à aller plus loin, envisagez d’autres mesures d’intervention et de signalement :

• Soutenez les personnes qui luttent contre le matériel pédopornographique. Les organisations devraient investir dans la formation, l’accompagnement et un programme de bien-être pour les personnes chargées d’examiner ce matériel. Consultez les recommandations de WeProtect .
• Faites appel à des spécialistes. Vous n’avez pas besoin d’une grande équipe dédiée à la confiance et à la sécurité pour commencer. La Tech Coalition propose aux entreprises différentes façons de renforcer leurs dispositifs de protection des enfants :
  • Pathways est un programme gratuit de renforcement des capacités, conçu spécialement pour les startups et les plateformes de petite et moyenne taille, tout en restant ouvert aux entreprises de toutes tailles. Il fournit des ressources pratiques, des conseils et un accompagnement pour aider les entreprises à établir des bases solides en matière de protection des enfants. Les entreprises éligibles peuvent également demander une sous-licence PhotoDNA par l’intermédiaire de Pathways.
  • Elevate propose des conseils personnalisés et un accompagnement à la mise en œuvre aux entreprises qui recherchent une aide plus concrète pour renforcer leurs programmes de protection des enfants et faire face à des risques spécifiques.
  • L’adhésion à la Tech Coalition permet aux entreprises de participer à la réponse collaborative mondiale du secteur face à l’exploitation et aux abus sexuels sur enfants en ligne, d’échanger avec leurs pairs, de partager leur expertise et de contribuer à l’action collective. Contactez l’équipe de la Tech Coalition pour une première consultation.
  • Les développeurs peuvent consulter les ressources de la Tech Coalition sur les bonnes pratiques en matière de protection des enfants pour obtenir des conseils supplémentaires.

Adaptez les mesures de protection à votre croissance

Les contrôles et les mesures de protection appropriés dépendent du produit, de son stade de développement et de sa maturité, de ses utilisateurs et de ses fonctionnalités, des régions où il est proposé et des ressources disponibles.

Pour les produits davantage exposés aux risques, par exemple ceux qui permettent la diffusion en direct, la génération ou la modification d’images, le stockage de fichiers ou les échanges privés, envisagez de mettre en place et de renforcer des mesures de protection telles que :

• Des évaluations des risques liés au produit avant son lancement et à chaque modification de fonctionnalités à haut risque. Consultez les recommandations de l’Ofcom sur l’évaluation des risques .
• Une détection à plusieurs niveaux adaptée au service, pouvant combiner la comparaison d’empreintes, des classificateurs d’images ou de vidéos, des signaux textuels, la détection de mots-clés et le blocage d’URL.
• Un examen humain des signaux présentant un niveau de confiance élevé ou indiquant une forte gravité, à l’aide d’outils qui protègent le bien-être des personnes chargées de l’examen et limitent leur exposition inutile aux contenus préjudiciables.
• Des limites de débit, des contrôles sur les comptes et une surveillance des abus qui rendent les usages abusifs répétés plus difficiles.
• Des tests et des mesures réguliers pour repérer les lacunes, suivre les résultats et améliorer vos contrôles.

Ces recommandations constituent un point de départ, et non un avis juridique ou une norme universelle de diligence. Adaptez-les à votre service, à votre profil de risque et au droit applicable.