Orientações sobre CSAM

Desenvolva produtos pensando na segurança de crianças e adolescentes

A OpenAI tem expectativas claras para quem desenvolve produtos quanto à segurança de crianças e adolescentes. Você é responsável por garantir que seus usuários utilizem os serviços da OpenAI em conformidade com a legislação aplicável, inclusive as leis que criminalizam o abuso e a exploração sexual de crianças e adolescentes. Nunca use os serviços da OpenAI para explorar, colocar em risco ou sexualizar qualquer pessoa com menos de 18 anos. Consulte as Políticas de Uso da OpenAI.

A exploração e o abuso sexual de crianças e adolescentes na internet afetam diversos produtos e serviços, inclusive os que se destinam a outros públicos. A OpenAI quer ajudar quem desenvolve esses produtos a entender que medidas pode tomar para combater esse tipo de abuso.

Avalie o quanto antes como alguém poderia usar seu produto de forma indevida. Comece cedo para que as medidas de proteção de crianças e adolescentes acompanhem o crescimento do produto. Incorporá-las depois a um produto ou sistema já complexo é mais difícil. Equipes de desenvolvimento e organizações de qualquer porte devem avaliar como alguém poderia usar seus produtos para causar danos. Os riscos incluem material de abuso sexual infantil (CSAM), aliciamento, extorsão sexual, sexualização de crianças e adolescentes, transmissão de abusos ao vivo e tráfico de pessoas. Essa avaliação é especialmente importante em produtos que permitem trocar mensagens, enviar conteúdo, editar imagens, fazer transmissões ao vivo, descobrir conteúdos ou pessoas, ou realizar pagamentos.

Este guia aborda o CSAM e traz orientações práticas para ajudar quem desenvolve produtos a proteger crianças e adolescentes.

Por onde começar

Pode ser difícil saber por onde começar. A escolha das soluções e da forma de implementá-las depende do porte da sua organização, do seu grau de maturidade e dos recursos disponíveis.

A lista a seguir é um bom ponto de partida para lidar com o CSAM. Comece a reduzir o risco desde já, mesmo que ainda faltem ferramentas ou etapas a concluir.

Prevenir

Estabeleça regras claras para seu produto ou serviço e crie canais para que os usuários possam relatar suas experiências.

• Estabeleça regras claras. Proíba a exploração e o abuso sexual de crianças e adolescentes nos termos de serviço, na política de uso aceitável ou nas diretrizes da comunidade. Consulte a TSPA ou o programa Pathways da Tech Coalition, que é gratuito. Essas fontes oferecem orientações de especialistas e ferramentas práticas, inclusive um material sobre normas externas que proíbem a exploração e o abuso sexual de crianças e adolescentes na internet.
• Ofereça aos usuários um canal de denúncias. Disponibilize um canal fácil de encontrar para denunciar conteúdo ou condutas potencialmente prejudiciais. Encaminhe as denúncias a uma fila ou a outro local que sua equipe monitore. Inclua informações suficientes para que a equipe possa decidir como aplicar as políticas. Para mais orientações, consulte o eSafety Commissioner da Austrália.
• Rastreie envios e usuários com identificadores de segurança. No seu produto ou serviço, associe cada envio a um usuário. Enviar identificadores de segurança nas solicitações à OpenAI que aceitam esse recurso pode ajudar a OpenAI a monitorar e detectar abusos. Se detectar violações de políticas no seu produto ou serviço, a OpenAI poderá usar essas informações para dar à sua equipe orientações mais específicas sobre como agir. Os identificadores de segurança também podem ajudar sua equipe a responder mais rapidamente a abusos. Eles permitem associar de forma consistente cada atividade ao usuário final que a realizou e reduzem o risco de que o uso indevido por uma pessoa prejudique o acesso de toda a organização. Use uma string exclusiva para representar cada usuário. Para proteger a privacidade, aplique uma função de hash aos endereços de e-mail ou nomes de usuário antes de enviá-los, evitando assim divulgar informações que permitam identificar a pessoa. Ao usar diretamente a API de imagens, envie o mesmo identificador estável no parâmetro safety_identifier tanto para geração de imagens quanto para edição de imagens. O parâmetro user está obsoleto, mas continua disponível para manter a compatibilidade com versões anteriores.

Quando puder ampliar a prevenção, considere outras medidas:

• Implemente bloqueios ou recusas preventivas com base em palavras-chave ou URLs relacionadas a CSAM. Saiba mais com a IWF.
• Exiba alertas ou mensagens para usuários que tentarem praticar atos relacionados a CSAM. Saiba mais com o Stop It Now.
• Se seu serviço estiver disponível para crianças e adolescentes e um usuário informar que há na plataforma imagens ou vídeos de caráter sexual em que ele aparece, encaminhe essa pessoa a serviços de apoio. Entre eles estão o programa Report Remove, da IWF e da NSPCC, que permite a crianças e adolescentes no Reino Unido denunciar imagens e vídeos para que sejam removidos ou bloqueados, e o serviço Take It Down, do NCMEC.
• Se souber que uma criança ou um adolescente está em perigo imediato ou iminente:
  • Encaminhe o caso aos serviços de emergência, como a polícia local.
  • Oriente a criança ou o adolescente sobre como entrar em contato com os serviços de emergência.

Detectar

Identifique conteúdo ou condutas que possam violar as políticas para que sua equipe avalie os casos e tome as medidas cabíveis.

Use ferramentas acessíveis para detectar CSAM:

• Comparação de hashes perceptuais. Se o seu produto permite enviar, armazenar ou processar conteúdo visual, considere implementar a comparação de hashes perceptuais. Essa tecnologia cria uma impressão digital de cada imagem ou vídeo e a compara com as de materiais já identificados como CSAM. Isso ajuda a reconhecer material conhecido mesmo que alguém redimensione, comprima ou modifique o arquivo de outra forma. Você precisa ter acesso tanto a uma tecnologia de comparação de hashes, como o PhotoDNA, quanto a listas que reúnem hashes de CSAM conhecido. Nem todos os serviços oferecem os dois recursos.
  • Tecnologias recomendadas para comparação de hashes:
    • Safer by Thorn oferece uma ferramenta desenvolvida especificamente para detectar CSAM conhecido em imagens e vídeos.
    • A Tech Coalition oferece às empresas que atendem aos critérios de elegibilidade sublicenças do PhotoDNA da Microsoft por meio do seu programa gratuito Pathways .
    • Tecnologia PDQ de comparação de hashes da Meta .
    • A tecnologia CSAI Match, do YouTube, compara hashes para identificar CSAM conhecido em vídeos.
  • Listas recomendadas de hashes de CSAM:
    • O NCMEC oferece listas de hashes de CSAM conhecido, de conteúdo que envolve exploração e de CSAM produzido com IA generativa. Entre em contato com a equipe de atendimento a provedores de serviços eletrônicos.
    • A IWF oferece o Image Intercept, um serviço de comparação de hashes para pequenas empresas e startups que atendem aos critérios de elegibilidade. A integração exige pouco conhecimento técnico.
• Classificadores para detectar CSAM ainda desconhecido. Essas ferramentas podem detectar CSAM que ainda não foi identificado ou visto.
  • O Safer by Thorn oferece classificadores voltados à identificação de imagens e vídeos que possam conter CSAM ainda desconhecido, além de indícios relevantes de exploração em textos.
  • A Content Safety API, do Google, usa IA para classificar imagens e vídeos e definir a prioridade de análise. Quanto maior a prioridade atribuída pelo classificador, maior a probabilidade de a imagem ou o vídeo conter CSAM.
• Identificação de infratores e aplicação de políticas. Com base nos identificadores e nas informações disponíveis, como nomes de usuário, endereços de e-mail e IDs de dispositivos, considere banir permanentemente ou restringir de outra forma as contas usadas para violar ou tentar violar as políticas sobre CSAM. Fique atento a reincidentes que tentem burlar essas medidas.

Responder e denunciar

Prepare seu produto e sua equipe para tomar as medidas adequadas quando você identificar a presença de CSAM no serviço ou receber informações a esse respeito.

• Cadastre-se e prepare-se para denunciar casos de CSAM às autoridades. Cadastre-se no NCMEC ou no canal de denúncias da sua região. Considere quais informações permitem ao NCMEC agir a partir de uma denúncia e como ela pode contribuir para a proteção de crianças e adolescentes. Inclua o máximo de informações possível para ajudar a encaminhar a denúncia à jurisdição competente e a identificar a pessoa suspeita. A documentação dos campos de denúncia do NCMEC inclui endereços IP, IDs de dispositivos e outros dados.

• Mantenha registros e identificadores que possam ser consultados. Ao fazer uma denúncia, guarde a documentação do incidente e todos os dados associados que possam ajudar a identificar os responsáveis pela violação. Assim, você poderá atender a solicitações das autoridades policiais.
• Elabore um protocolo de resposta. Defina quem analisa as denúncias, como encaminhar casos urgentes aos responsáveis dentro e fora da organização, que medidas tomar contra usuários responsáveis por violações e quem pode tomar essas decisões. Este material da TSPA pode ajudar a estruturar os processos de aplicação das políticas.
• Considere formar uma rede de especialistas de confiança que possam usar sua experiência para alertar sua equipe sobre casos de CSAM. Essa rede pode incluir organizações como a IWF e outros canais de denúncias.
• Ofereça treinamento e apoio às pessoas envolvidas. É importante que haja participação humana no processo. Garanta que as pessoas responsáveis pela análise, as equipes de suporte e os profissionais de plantão conheçam sua política, saibam a quem encaminhar cada caso e entendam os limites de qualquer sistema automatizado.
• Use as ferramentas necessárias para moderar conteúdo ou responder a abusos. Outras ferramentas podem ajudar a lidar com riscos e danos à segurança de crianças e adolescentes:
  • A API de moderação detecta conteúdo potencialmente prejudicial em textos e imagens. Saiba mais sobre o modelo omni-moderation-latest. Essa API não substitui ferramentas específicas de detecção de CSAM. Ela inclui a categoria sexual/minors, que abrange conteúdo sexual envolvendo pessoas com menos de 18 anos e se aplica somente a textos. Use os resultados para:
    • Bloquear ou filtrar conteúdo.
    • Encaminhar conteúdo para análise humana.
    • Tomar medidas em relação a uma conta.
    • Dificultar a repetição do uso indevido e aplicar medidas específicas do produto ou serviço.
  • Considere outras ferramentas de moderação que possam ajudar. Por exemplo, o Coop da ROOST é um console de código aberto para fazer a triagem de possíveis violações de políticas em textos, conteúdo multimídia e perfis. Ele permite análises humanas e automatizadas, leva em conta o bem-estar de quem faz a análise e oferece suporte a todas as etapas da moderação, inclusive ao envio de denúncias à CyberTipline do NCMEC.

Quando puder ampliar sua atuação, considere outras medidas de resposta e denúncia:

• Apoie quem atua no combate ao CSAM. As organizações devem investir em treinamento, apoio e um programa de bem-estar para quem analisa CSAM. Consulte as recomendações da WeProtect .
• Busque apoio especializado. Você pode começar mesmo com uma equipe pequena de confiança e segurança. A Tech Coalition oferece às empresas várias formas de fortalecer seus sistemas de proteção de crianças e adolescentes:
  • Pathways é um programa gratuito de capacitação voltado especialmente a startups e plataformas de pequeno e médio porte, mas aberto a empresas de qualquer tamanho. Oferece recursos práticos, orientação e apoio para ajudar empresas a estabelecer uma base sólida de proteção de crianças e adolescentes. As empresas que atendem aos critérios de elegibilidade também podem solicitar uma sublicença do PhotoDNA pelo Pathways.
  • Elevate oferece consultoria personalizada e apoio à implementação para empresas que buscam ajuda prática para fortalecer seus programas de proteção de crianças e adolescentes e responder a riscos específicos.
  • A afiliação à Tech Coalition permite que as empresas participem da resposta conjunta do setor em todo o mundo à exploração e ao abuso sexual de crianças e adolescentes na internet, interajam com outras empresas, compartilhem conhecimentos e contribuam para ações coletivas. Entre em contato com a equipe da Tech Coalition para uma consulta inicial.
  • Quem desenvolve produtos pode consultar as boas práticas de proteção de crianças e adolescentes da Tech Coalition para obter mais orientações.

Amplie as medidas de proteção

A escolha dos controles e das medidas de proteção depende do produto, do seu estágio de desenvolvimento e grau de maturidade, de seus usuários e funcionalidades, das regiões onde opera e dos recursos disponíveis.

Em produtos com maior exposição a riscos, como os que oferecem transmissão ao vivo, geração de imagens ou edição de imagens, armazenamento de arquivos ou conexões privadas, considere implementar e reforçar medidas como:

• Avaliações de risco do produto antes do lançamento e sempre que houver mudanças em funcionalidades de alto risco. Consulte as orientações da Ofcom para avaliação de riscos.
• Detecção em camadas adequada ao serviço, que pode incluir comparação de hashes, classificadores de imagens ou vídeos, indícios em textos, detecção de palavras-chave e bloqueio de URLs.
• Análise humana de indícios com alto grau de confiança ou que apontem para casos graves, com ferramentas que protejam o bem-estar de quem faz a análise e limitem a exposição desnecessária a material prejudicial.
• Limites de taxa, controles de conta e monitoramento de abusos que dificultem a reincidência.
• Testes e medições regulares para identificar lacunas, acompanhar resultados e aprimorar os controles.

Estas recomendações servem como ponto de partida. Elas não constituem orientação jurídica nem estabelecem um padrão universal de diligência. Adapte-as ao seu serviço, ao seu perfil de risco e à legislação aplicável.