Guía sobre el MASI

Ten en cuenta la seguridad infantil al desarrollar tu producto

OpenAI tiene expectativas claras para los desarrolladores en materia de seguridad infantil. Es tu responsabilidad asegurarte de que tus usuarios utilicen los servicios de OpenAI conforme a las leyes aplicables, incluidas las que tipifican como delitos el abuso y la explotación sexual infantil. Nunca uses los servicios de OpenAI para explotar, poner en peligro o sexualizar a una persona menor de 18 años. Consulta las Políticas de uso de OpenAI.

La explotación y el abuso sexual infantil en línea afectan a diversos productos y servicios, incluso a los que no están dirigidos a menores. OpenAI quiere ayudar a los desarrolladores a identificar qué medidas pueden tomar frente a estos abusos.

Considera desde la etapa más temprana posible cómo podrían las personas hacer un uso indebido de tu producto. Si empiezas pronto, podrás ampliar las medidas de protección infantil a medida que crezca tu producto y evitarás tener que incorporarlas después a un producto o sistema que ya es complejo. Los equipos de desarrollo y las organizaciones de cualquier tamaño deben evaluar cómo podrían usarse indebidamente sus productos para causar distintos tipos de daño. Entre los riesgos se encuentran el material de abuso sexual infantil (MASI), la captación de menores con fines sexuales, la extorsión sexual, la sexualización de menores, la transmisión de abusos en vivo y la trata de personas. Esta evaluación es especialmente importante si sus productos ofrecen funciones de mensajería, carga de contenido, edición de imágenes, transmisión en vivo, descubrimiento o pagos.

Este recurso se centra en el MASI y ofrece a los desarrolladores orientación práctica para proteger a los menores.

Por dónde empezar

Puede ser difícil saber por dónde empezar. Las soluciones adecuadas y la forma de implementarlas dependen del tamaño, la madurez y los recursos disponibles de tu organización.

La siguiente lista de verificación es un buen punto de partida para abordar el MASI. Lo importante es empezar a reducir el riesgo: no esperes a tener todas las herramientas o a completar todos los pasos para actuar.

Prevención

Establece reglas claras para tu producto o servicio y crea mecanismos para que los usuarios puedan contarte sus experiencias.

• Establece reglas claras. Prohíbe la explotación y el abuso sexual infantil en tus términos de servicio, tu política de uso aceptable o tus normas de la comunidad. Consulta los recursos de TSPA o el programa Pathways de Tech Coalition, que es gratuito. Allí encontrarás orientación especializada y herramientas prácticas, incluido un recurso sobre las normas externas que prohíben la explotación y el abuso sexual infantil en línea.
• Ofrece a tus usuarios un mecanismo para enviar reportes. Pon a la vista de los usuarios una opción para reportar contenido o conductas potencialmente dañinos. Dirige los reportes a una cola de revisión u otro canal que tu equipo supervise e incluye información suficiente para decidir cómo aplicar tus políticas. Para obtener más orientación, consulta los recursos de la autoridad australiana eSafety Commissioner.
• Rastrea las cargas y los usuarios mediante identificadores de seguridad. En tu producto o servicio, vincula cada carga con el usuario que la realizó. Enviar identificadores de seguridad en las solicitudes de OpenAI que los admiten puede ayudar a OpenAI a monitorear y detectar abusos. Si OpenAI detecta infracciones de sus políticas en tu producto o servicio, estos identificadores pueden ayudarle a dar a tu equipo información más útil para tomar medidas. Los identificadores de seguridad también pueden ayudar a tu equipo a responder con mayor rapidez ante los abusos. Ofrecen una forma estable de vincular la actividad con un usuario final específico y reducen la probabilidad de que el uso indebido por parte de una persona interrumpa el acceso del resto de tu organización. Usa una cadena única para representar a cada usuario. Para proteger la privacidad, aplica una función hash a las direcciones de correo electrónico o a los nombres de usuario antes de enviarlos. Así evitarás revelar información que permita identificar a una persona. Si usas directamente la API de imágenes, envía el mismo identificador estable como safety_identifier para la generación de imágenes y la edición de imágenes. El parámetro user está obsoleto, pero sigue admitiéndose por compatibilidad con versiones anteriores.

Cuando puedas ampliar tus medidas de prevención, considera las siguientes opciones:

• Implementa bloqueos o rechazos preventivos para palabras clave o URL relacionadas con el MASI. Consulta los recursos de la IWF.
• Muestra advertencias o mensajes a los usuarios que intenten realizar actividades relacionadas con el MASI. Consulta los recursos de Stop It Now.
• Si los menores pueden usar tu servicio y un usuario te informa que en tu plataforma hay imágenes o videos de carácter sexual en los que aparece, dirígelo a servicios de apoyo como el programa Report Remove de la IWF y la NSPCC, que permite a los menores del Reino Unido reportar imágenes y videos para que se eliminen o bloqueen, o el servicio Take It Down del NCMEC.
• Si te enteras de que un menor corre peligro inmediato o inminente:
  • Remite el caso a los servicios de emergencia, como la policía local.
  • Explícale al menor cómo comunicarse con los servicios de emergencia.

Detección

Identifica el contenido o las conductas que podrían infringir tus políticas para revisarlos y tomar medidas.

Usa herramientas accesibles de detección de MASI:

• Comparación de hashes perceptuales. Si tu producto permite cargar, almacenar o procesar contenido visual, considera implementar la comparación de hashes perceptuales. Esta tecnología crea una huella digital de una imagen o un video y la compara con las huellas de MASI conocido. Así puede identificar material conocido incluso si alguien cambia el tamaño del archivo, lo comprime o lo modifica de otra manera. Necesitas acceso tanto a una tecnología de comparación de hashes, como PhotoDNA, como a listas de hashes de MASI, que son repositorios de hashes de material conocido. No todos los servicios ofrecen ambas cosas.
  • Tecnologías recomendadas para comparar hashes:
    • Safer by Thorn ofrece una herramienta diseñada específicamente para detectar MASI conocido en imágenes y videos.
    • Tech Coalition ofrece a las empresas que cumplen los requisitos sublicencias de PhotoDNA de Microsoft a través de su programa gratuito Pathways.
    • Tecnología PDQ de Meta para comparar hashes.
    • La tecnología CSAI Match de YouTube compara hashes para identificar MASI conocido en videos.
  • Listas recomendadas de hashes de MASI:
    • El NCMEC ofrece listas de hashes de MASI conocido, de contenido de explotación y de MASI creado con IA generativa. Ponte en contacto con su equipo de atención a proveedores de servicios electrónicos.
    • La IWF ofrece Image Intercept, un servicio de comparación de hashes para pequeñas empresas y startups que cumplen los requisitos. Su integración requiere pocos conocimientos técnicos.
• Clasificadores para detectar MASI no identificado previamente. Estas herramientas pueden detectar MASI desconocido o que no se había visto antes.
  • Safer by Thorn ofrece clasificadores diseñados para identificar en imágenes y videos lo que podría ser MASI no identificado previamente, así como indicios relevantes de explotación en textos.
  • La Content Safety API de Google usa IA para clasificar imágenes y videos y asignarles una prioridad de revisión. Cuanto mayor sea la prioridad que asigne el clasificador, mayor será la probabilidad de que el contenido incluya MASI.
• Detección de infractores y aplicación de medidas. A partir de los identificadores y la información disponibles, como nombres de usuario, direcciones de correo electrónico e identificadores de dispositivos, considera bloquear de forma permanente o restringir de otra manera las cuentas que se hayan usado para infringir o intentar infringir las políticas sobre MASI. Presta atención a los infractores reincidentes que intenten eludir las medidas aplicadas.

Respuesta y reporte

Asegúrate de que tanto tu producto como tu equipo puedan tomar las medidas adecuadas cuando sepas que hay MASI en tu servicio.

• Regístrate y prepárate para reportar el MASI a las autoridades. Regístrate en el NCMEC o en tu línea local de denuncias. Considera qué información necesita el NCMEC para actuar a partir de un reporte y cómo ese reporte puede contribuir a la protección del menor. Incluye tanta información como sea posible para que el reporte llegue a la jurisdicción correspondiente y se pueda identificar al sospechoso. La documentación del NCMEC sobre los campos de los reportes incluye direcciones IP, identificadores de dispositivos y otros datos.

• Conserva registros e identificadores que puedas utilizar. Cuando envíes un reporte, conserva la documentación del incidente y todos los datos asociados que puedan ayudar a identificar a los infractores. Así podrás responder a las solicitudes de las autoridades encargadas de hacer cumplir la ley.
• Redacta un protocolo de respuesta. Define quién revisa los reportes, cómo derivar los casos urgentes dentro y fuera de la organización, qué medidas tomar contra los usuarios responsables de las infracciones y quién puede tomar esas decisiones. Este recurso de TSPA puede ayudarte a establecer procedimientos para hacer cumplir tus políticas.
• Considera crear una red de especialistas de confianza que puedan reportarte casos de MASI gracias a su experiencia. Puedes incluir a organizaciones como la IWF y a otras líneas de denuncias.
• Capacita y apoya a las personas involucradas. Es importante que haya participación humana en el proceso. Asegúrate de que quienes revisan el contenido, los equipos de soporte y el personal de guardia conozcan tu política, sepan a quién derivar los casos y entiendan los límites de cualquier sistema automatizado.
• Usa las herramientas que necesites para moderar contenido o responder ante abusos. Hay otras herramientas que pueden ayudarte a abordar los riesgos para la seguridad infantil y los daños que sufren los menores:
  • La API de moderación detecta contenido potencialmente dañino en textos e imágenes. Consulta más información sobre el modelo omni-moderation-latest. Esta API no sustituye a las herramientas específicas para detectar MASI. Sigue incluyendo la categoría sexual/minors, que abarca contenido sexual que involucra a personas menores de 18 años. Esta categoría solo se aplica a texto. Usa los resultados para:
    • Bloquear o filtrar contenido.
    • Enviar contenido a revisión humana.
    • Tomar medidas sobre una cuenta.
    • Dificultar el uso indebido reiterado y aplicar medidas específicas de tu producto o servicio.
  • Considera otras herramientas de moderación que puedan ayudarte. Por ejemplo, Coop de ROOST es una consola de revisión de código abierto para clasificar y priorizar posibles infracciones de las políticas en textos, contenido multimedia y perfiles. Admite la revisión humana y automatizada, tiene en cuenta el bienestar de quienes revisan el contenido y permite gestionar todo el proceso de moderación, incluido el envío de reportes a la CyberTipline del NCMEC.

Cuando puedas ampliar tus medidas de respuesta y reporte, considera las siguientes opciones:

• Apoya a las personas que trabajan para combatir el MASI. Las organizaciones deben invertir en capacitación, apoyo y un programa de bienestar para quienes revisan MASI. Lee las recomendaciones de WeProtect.
• Busca apoyo especializado. No necesitas un gran equipo de confianza y seguridad para empezar. Tech Coalition ofrece varias opciones para que las empresas fortalezcan sus sistemas de protección infantil:
  • Pathways es un programa gratuito de desarrollo de capacidades diseñado especialmente para startups y plataformas pequeñas y medianas. Está abierto a empresas de todos los tamaños. Ofrece recursos prácticos, orientación y apoyo para ayudar a las empresas a sentar bases sólidas en materia de seguridad infantil. Las empresas que cumplen los requisitos también pueden solicitar una sublicencia de PhotoDNA a través de Pathways.
  • Elevate ofrece asesoramiento personalizado y apoyo para la implementación a las empresas que buscan ayuda más directa para fortalecer sus programas de seguridad infantil y responder a riesgos específicos.
  • La membresía de Tech Coalition permite a las empresas participar en la respuesta conjunta del sector a nivel mundial frente a la explotación y el abuso sexual infantil en línea, colaborar con otras empresas, compartir conocimientos y contribuir a iniciativas colectivas. Ponte en contacto con el equipo de Tech Coalition para una consulta inicial.
  • Para obtener más orientación, los desarrolladores pueden consultar las buenas prácticas de seguridad infantil de Tech Coalition.

Ampliar las medidas de protección

Los controles y las medidas de protección adecuados dependen del producto, de su etapa de desarrollo y grado de madurez, de sus usuarios y funciones, de las regiones donde opera y de los recursos disponibles.

Para los productos más expuestos a riesgos, como los que permiten transmitir en vivo, generar o editar imágenes, almacenar archivos o establecer conexiones privadas, considera implementar y reforzar medidas de protección como las siguientes:

• Evalúa los riesgos del producto antes del lanzamiento y cada vez que cambien las funciones de alto riesgo. Consulta la guía de Ofcom para la evaluación de riesgos.
• Combina métodos de detección adecuados para el servicio, como la comparación de hashes, los clasificadores de imágenes o videos, los indicios en textos, la detección de palabras clave y el bloqueo de URL.
• Somete a revisión humana las señales con un alto grado de confianza o que indiquen casos graves. Usa herramientas que protejan el bienestar de quienes revisan el contenido y limiten su exposición innecesaria a material dañino.
• Implementa límites de solicitudes, controles de cuentas y monitoreo de abusos para dificultar el uso indebido reiterado.
• Realiza pruebas y mediciones periódicas para identificar deficiencias, dar seguimiento a los resultados y mejorar tus controles.

Estas recomendaciones son un punto de partida. No constituyen asesoramiento legal ni establecen un estándar universal de diligencia. Adáptalas a tu servicio, a tu perfil de riesgo y a la legislación aplicable.