Guía sobre MASI

Desarrolla pensando en la seguridad infantil

La explotación y el abuso sexual infantil en línea afectan a diversos productos y servicios, incluidos aquellos que no están dirigidos a niños. OpenAI quiere ayudar a los desarrolladores a comprender qué medidas pueden considerar para abordar estos abusos.

Desde la etapa más temprana posible, considera cómo se podría usar indebidamente tu producto. Empieza pronto para que las medidas de protección infantil puedan crecer junto con tu producto, en lugar de tener que incorporarlas después a un producto o sistema ya complejo. Los equipos de desarrollo y las organizaciones de todos los tamaños deben evaluar cómo se podrían usar indebidamente sus productos para causar diversos daños, como la difusión de material de abuso sexual infantil (MASI), el grooming, la extorsión sexual, la sexualización de niños, el abuso transmitido en vivo y la trata de personas, especialmente si sus productos ofrecen funciones de mensajería, carga de contenido, edición de imágenes, transmisiones en vivo, descubrimiento de contenido o pagos.

Este recurso se centra en el MASI y ofrece a los desarrolladores recomendaciones prácticas para proteger a los niños.

Por dónde empezar

Puede ser difícil saber por dónde empezar. Las soluciones y las formas de implementación adecuadas dependen del tamaño, la madurez y los recursos disponibles de tu organización.

La siguiente lista de verificación es un buen punto de partida para abordar el MASI. Lo importante es empezar a afrontar el riesgo: no esperes a tener todas las herramientas o completar todos los pasos para actuar.

Prevenir

Establece reglas claras para tu producto o servicio y mecanismos para conocer las experiencias de tus usuarios.

• Establece reglas claras. Prohíbe la explotación y el abuso sexual infantil en tus términos de servicio, tu política de uso aceptable o tus normas de la comunidad. Obtén más información en TSPA o en la opción gratuita de Tech Coalition, el programa Pathways para obtener orientación de expertos y herramientas prácticas, incluido un recurso sobre normas externas que prohíben la explotación y el abuso sexual infantil en línea.
• Permite que tus usuarios envíen reportes. Ofrece a los usuarios una opción visible para reportar contenido o conductas potencialmente dañinos y dirige esos reportes a una cola o un lugar supervisado, con información suficiente para tomar decisiones sobre la aplicación de las políticas. Para obtener más orientación, consulta al organismo australiano eSafety Commissioner.
• Rastrea las cargas y los usuarios mediante identificadores de seguridad. En tu producto o servicio, asocia cada carga con un usuario. Enviar identificadores de seguridad en las solicitudes de OpenAI compatibles puede ayudar a OpenAI a monitorear y detectar abusos. Esto puede ayudar a OpenAI a proporcionar a tu equipo información más útil para tomar medidas si detecta infracciones de las políticas en tu producto o servicio. Los identificadores de seguridad también pueden ayudar a tu equipo a responder a los abusos más rápido. Proporcionan una forma estable de vincular la actividad con un usuario final específico y reducen la probabilidad de que el uso indebido por parte de un usuario interrumpa el acceso del resto de tu organización. Usa una cadena única para representar a cada usuario. Para proteger la privacidad, aplica una función hash a las direcciones de correo electrónico o a los nombres de usuario antes de enviarlos para evitar revelar información de identificación personal. La API de Images directa utiliza un parámetro diferente para este fin: envía el mismo identificador estable como user para la generación de imágenes y la edición de imágenes.

Cuando estés listo para hacer más, considera otras medidas de prevención:

• Agrega bloqueos o rechazos preventivos para palabras clave o URL relacionadas con el MASI. Obtén más información en la IWF .
• Muestra advertencias o mensajes a los usuarios que intenten incurrir en conductas relacionadas con el MASI. Obtén más información en Stop It Now .
• Si tu servicio está disponible para niños y un usuario te informa que hay imágenes o videos sexuales suyos en tu plataforma, dirígelo a servicios de apoyo, como el de IWF y NSPCC, Report Remove , un programa que permite a los niños del Reino Unido reportar imágenes y videos para que se eliminen o bloqueen, o al de NCMEC, Take It Down , un servicio de apoyo.
• Si te enteras de que un niño enfrenta un daño inmediato o inminente:
  • Deriva el caso a los servicios de emergencia, como la policía local.
  • Dale al niño información sobre cómo comunicarse con los servicios de emergencia.

Detectar

Identifica contenido o conductas que puedan infringir las normas para revisarlos y tomar medidas.

Usa herramientas accesibles de detección de MASI:

• Comparación de hashes perceptuales. Si tu producto permite cargar, almacenar o procesar contenido visual, considera implementar la comparación de hashes perceptuales. Esta tecnología crea una huella digital de una imagen o un video y la compara con huellas de MASI conocido, lo que ayuda a identificar material conocido incluso después de que alguien cambie el tamaño, comprima o modifique un archivo de otra manera. Necesitas acceso tanto a una tecnología de comparación de hashes, como PhotoDNA, como a listas de hashes de MASI, que son repositorios de hashes de MASI conocido. No todos los servicios ofrecen ambas cosas.
  • Tecnologías recomendadas de comparación de hashes:
    • Safer by Thorn ofrece detección diseñada específicamente para identificar MASI conocido en imágenes y videos.
    • Tech Coalition ofrece a las empresas que cumplen los requisitos sublicencias de PhotoDNA de Microsoft a través de su opción gratuita, el programa Pathways .
    • Tecnología de comparación de hashes PDQ de Meta .
    • De YouTube: CSAI Match es una tecnología que permite comparar hashes para identificar MASI conocido en videos.
  • Listas recomendadas de hashes de MASI:
    • NCMEC ofrece listas de MASI conocido, contenido de explotación y MASI creado con IA generativa. Contacta a su equipo de proveedores de servicios electrónicos.
    • IWF ofrece Image Intercept , un servicio de comparación de hashes para pequeñas empresas y startups que cumplen los requisitos y que requiere conocimientos técnicos mínimos para su integración.
• Clasificadores para detectar MASI nuevo. Estas herramientas pueden detectar MASI desconocido o que no se haya visto antes.
  • Safer by Thorn ofrece clasificadores diseñados para identificar MASI potencialmente nuevo en imágenes y videos, así como señales relevantes de explotación en el texto.
  • Google, con Content Safety API usa IA para clasificar imágenes y videos y asignarles una prioridad de revisión. Cuanto mayor sea la prioridad asignada por el clasificador, más probable será que el contenido incluya MASI.
• Detección de actores malintencionados y aplicación de medidas. Usa los identificadores y la información disponibles, como nombres de usuario, direcciones de correo electrónico e identificadores de dispositivos, para evaluar si corresponde bloquear de forma permanente o restringir de otro modo las cuentas que se hayan usado para infringir o intentar infringir las políticas sobre MASI. Presta atención a los infractores reincidentes que intenten eludir las medidas aplicadas.

Responder y denunciar

Asegúrate de que tu producto y tu equipo puedan tomar las medidas adecuadas cuando se detecte MASI en tu servicio.

• Regístrate y prepárate para denunciar MASI ante las autoridades. Regístrate en NCMEC o en tu línea local de denuncias. Considera qué información permite actuar a partir de una denuncia a NCMEC y cómo puede contribuir a proteger a los niños. Incluye toda la información posible para ayudar a remitir la denuncia a la jurisdicción correspondiente e identificar al sospechoso. NCMEC, en su documentación de los campos de denuncia, incluye direcciones IP, identificadores de dispositivos y otros datos.

• Conserva registros e identificadores útiles. Cuando presentes una denuncia, conserva la documentación del incidente y cualquier dato relacionado que pueda ayudar a identificar a los infractores, para que puedas responder a las solicitudes de las autoridades policiales.
• Redacta un manual de respuesta. Define quién revisa las denuncias, cómo escalar los casos urgentes tanto interna como externamente, qué medidas tomar contra los usuarios responsables de las infracciones y quién puede tomar esas decisiones. Este recurso de TSPA puede ayudarte a establecer procesos para aplicar medidas.
• Considera establecer una red de expertos de confianza que puedan presentar denuncias, incluidas organizaciones como IWF y otras líneas de denuncia, que aporten su experiencia para alertarte sobre casos de MASI.
• Capacita y apoya a las personas involucradas. Es importante que las personas participen en el proceso. Asegúrate de que los revisores, los equipos de soporte y el personal de guardia comprendan tu política, el procedimiento de escalamiento y los límites de cualquier sistema automatizado.
• Usa las herramientas que necesites para moderar contenido o responder al abuso. Otras herramientas pueden ayudarte a abordar los riesgos y daños para la seguridad infantil:
  • La API de moderación detecta contenido potencialmente dañino en texto e imágenes. Obtén más información sobre el modelo omni-moderation-latest. No sustituye las herramientas específicas de detección de MASI. Aun así, incluye una categoría sexual/minors que abarca contenido sexual en el que aparecen personas menores de 18 años; esta categoría solo se aplica al texto. Usa los resultados para:
    • Bloquear o filtrar contenido.
    • Enviar contenido para revisión humana.
    • Tomar medidas sobre una cuenta.
    • Dificultar el uso indebido reiterado y aplicar medidas específicas del producto o servicio.
  • Considera otras herramientas de moderación que podrían ayudar. Por ejemplo, Coop de ROOST es una consola de revisión de código abierto para clasificar y priorizar posibles infracciones de las políticas en texto, contenido multimedia y perfiles. Admite la revisión humana y automatizada, adopta un enfoque centrado en el bienestar de los revisores y permite realizar flujos de trabajo de moderación de principio a fin, incluida la presentación de denuncias a la CyberTipline de NCMEC.

Cuando estés listo para hacer más, considera otras medidas de respuesta y denuncia:

• Apoya a las personas que trabajan para combatir el MASI. Las organizaciones deberían invertir en capacitación, apoyo y un programa de bienestar para quienes revisan MASI. Lee las recomendaciones de WeProtect .
• Busca apoyo especializado. No necesitas un gran equipo de confianza y seguridad para empezar. Tech Coalition ofrece opciones para que las empresas desarrollen sistemas más sólidos de seguridad infantil:
  • Pathways es un programa gratuito de desarrollo de capacidades diseñado especialmente para startups y plataformas pequeñas y medianas, aunque está abierto a empresas de todos los tamaños. Ofrece recursos prácticos, orientación y apoyo para ayudar a las empresas a establecer bases sólidas de seguridad infantil. Las empresas que cumplen los requisitos también pueden solicitar una sublicencia de PhotoDNA a través de Pathways.
  • Elevate ofrece consultoría personalizada y apoyo para la implementación a empresas que buscan ayuda más práctica para fortalecer sus programas de seguridad infantil y responder a riesgos específicos.
  • La membresía de Tech Coalition permite a las empresas participar en la respuesta colaborativa global del sector frente a la explotación y el abuso sexual infantil en línea, interactuar con sus pares, compartir conocimientos y contribuir a la acción colectiva. Contacta al equipo de Tech Coalition para una consulta inicial.
  • Los desarrolladores pueden consultar en Tech Coalition las buenas prácticas de seguridad infantil para obtener más orientación.

Ampliar las medidas de protección

Los controles y las medidas de protección adecuados dependen del producto, su etapa de desarrollo y madurez, sus usuarios y funciones, las regiones en las que opera y los recursos disponibles.

Los productos con mayor exposición al riesgo, por ejemplo, los que permiten transmisiones en vivo, generación o edición de imágenes, almacenamiento de archivos o conexiones privadas, deberían considerar implementar y reforzar medidas de protección como las siguientes:

• Evaluaciones de riesgo del producto antes de su lanzamiento y cada vez que cambien las funciones de alto riesgo. Consulta la guía de evaluación de riesgos de Ofcom .
• Detección en capas adecuada para el servicio, que puede incluir comparación de hashes, clasificadores de imágenes o videos, señales en el texto, detección de palabras clave y bloqueo de URL.
• Revisión humana de señales de alta confianza o gravedad, con herramientas que protejan el bienestar de los revisores y limiten la exposición innecesaria a material dañino.
• Límites de solicitudes, controles de cuentas y monitoreo del abuso que dificulten el uso indebido reiterado.
• Pruebas y mediciones periódicas para que puedas detectar deficiencias, dar seguimiento a los resultados y mejorar tus controles.

Estas recomendaciones son un punto de partida, no asesoramiento legal ni un estándar universal de diligencia. Adáptalas a tu servicio, tu perfil de riesgo y la legislación aplicable.