Orientações sobre CSAM

Desenvolva pensando na segurança infantil

A exploração e o abuso sexual infantil online afetam diversos produtos e serviços, inclusive os que não são voltados para crianças. A OpenAI quer ajudar os desenvolvedores a entender quais medidas considerar para combater esses abusos.

Desde as primeiras etapas, considere como as pessoas poderiam usar seu produto indevidamente. Comece cedo para que as medidas de proteção infantil acompanhem seu crescimento, em vez de precisar incorporá-las depois a um produto ou sistema já complexo. Equipes de desenvolvimento e organizações de todos os tamanhos devem avaliar como seus produtos poderiam ser usados para causar diversos danos, incluindo material de abuso sexual infantil (CSAM), aliciamento, extorsão sexual, sexualização de crianças, abuso transmitido ao vivo e tráfico de pessoas, especialmente se os produtos oferecerem mensagens, envio de conteúdo, edição de imagens, transmissões ao vivo, descoberta de conteúdo ou pagamentos.

Este recurso se concentra em CSAM e oferece aos desenvolvedores orientações práticas para proteger crianças.

Por onde começar

Pode ser difícil saber por onde começar. As soluções e as formas de implementação adequadas dependem do porte, da maturidade e dos recursos disponíveis na sua organização.

A lista de verificação a seguir é um bom ponto de partida para combater CSAM. O importante é começar a lidar com o risco: não espere ter todas as ferramentas ou concluir todas as etapas para agir.

Prevenir

Defina regras claras para seu produto ou serviço e estabeleça mecanismos para ouvir os usuários sobre suas experiências.

• Defina regras claras. Proíba a exploração e o abuso sexual infantil nos seus termos de serviço, na política de uso aceitável ou nas diretrizes da comunidade. Saiba mais com a TSPA ou acesse gratuitamente, pela Tech Coalition, o programa Pathways para obter orientações especializadas e ferramentas práticas, incluindo um recurso sobre normas externas que proíbem a exploração e o abuso sexual infantil online.
• Disponibilize um canal de denúncias para seus usuários. Ofereça aos usuários uma forma visível de sinalizar conteúdos ou comportamentos potencialmente nocivos e encaminhe essas denúncias a uma fila ou a um local monitorado, com informações suficientes para tomar decisões com base nas políticas. Para mais orientações, consulte o órgão australiano eSafety Commissioner.
• Rastreie envios e usuários por meio de identificadores de segurança. No seu produto ou serviço, associe cada envio a um usuário. Enviar identificadores de segurança nas requisições da OpenAI que oferecem esse suporte pode ajudar a OpenAI a monitorar e detectar abusos. Isso pode ajudar a OpenAI a fornecer à sua equipe um feedback mais útil para tomar medidas caso detecte violações das políticas no seu produto ou serviço. Os identificadores de segurança também podem ajudar sua equipe a responder aos abusos mais rapidamente. Eles oferecem uma forma estável de vincular atividades a um usuário final específico e reduzem a chance de que o uso indevido por uma pessoa interrompa o acesso de toda a organização. Use uma string exclusiva para representar cada usuário. Para proteger a privacidade, aplique uma função hash aos endereços de e-mail ou nomes de usuário antes de enviá-los, evitando divulgar informações de identificação pessoal. A API Images, quando usada diretamente, utiliza um parâmetro diferente para essa finalidade: envie o mesmo identificador estável como user para geração de imagens e edição de imagens.

Quando estiver pronto para ir além, considere outras medidas de prevenção:

• Adicione bloqueios ou recusas preventivas para palavras-chave ou URLs relacionadas a CSAM. Saiba mais com a IWF .
• Exiba avisos ou mensagens para usuários que estejam tentando praticar comportamentos relacionados a CSAM. Saiba mais com Stop It Now .
• Se seu serviço estiver disponível para crianças e um usuário informar que imagens ou vídeos sexuais dele estão na sua plataforma, encaminhe-o a serviços de apoio, como o da IWF e da NSPCC: Report Remove , programa que permite que crianças no Reino Unido denunciem imagens e vídeos para remoção ou bloqueio, ou ao do NCMEC: Take It Down , um serviço de apoio.
• Se você souber que uma criança está sofrendo ou prestes a sofrer algum dano:
  • Encaminhe o caso aos serviços de emergência, como a polícia local.
  • Oriente a criança sobre como entrar em contato com os serviços de emergência.

Detectar

Identifique conteúdos ou condutas que possam violar as regras para revisão e tomada de medidas.

Use ferramentas acessíveis de detecção de CSAM:

• Correspondência de hashes perceptuais. Se seu produto permitir o envio, o armazenamento ou o processamento de mídias visuais, considere implementar a correspondência de hashes perceptuais. Essa tecnologia cria uma impressão digital de uma imagem ou vídeo e a compara com impressões digitais de CSAM já conhecido, ajudando a identificar esse material mesmo depois que alguém redimensiona, comprime ou modifica um arquivo de outra forma. Você precisa ter acesso tanto a uma tecnologia de correspondência de hashes, como o PhotoDNA, quanto a listas de hashes de CSAM, que são repositórios de hashes de CSAM já conhecido. Nem todos os serviços oferecem ambos.
  • Tecnologias recomendadas de correspondência de hashes:
    • Safer by Thorn oferece detecção desenvolvida especificamente para identificar CSAM já conhecido em imagens e vídeos.
    • A Tech Coalition oferece a empresas elegíveis sublicenças do PhotoDNA da Microsoft por meio do seu programa gratuito Pathways .
    • Tecnologia PDQ de correspondência de hashes da Meta .
    • Do YouTube, CSAI Match é uma tecnologia que oferece correspondência de hashes para identificar CSAM conhecido em vídeos.
  • Listas recomendadas de hashes de CSAM:
    • O NCMEC oferece listas de CSAM conhecido, conteúdo de exploração e CSAM produzido por IA generativa. Entre em contato com a equipe de provedores de serviços eletrônicos.
    • A IWF oferece o Image Intercept , um serviço de correspondência de hashes para pequenas empresas e startups elegíveis que exige pouco conhecimento técnico para a integração.
• Classificadores para detecção de CSAM inédito. Essas ferramentas podem detectar CSAM desconhecido ou ainda não identificado.
  • Safer by Thorn oferece classificadores voltados à identificação de CSAM potencialmente inédito em imagens e vídeos, além de sinais relevantes de exploração em textos.
  • Do Google, a Content Safety API usa IA para classificar imagens e vídeos e definir sua prioridade de revisão. Quanto maior a prioridade atribuída pelo classificador, maior a probabilidade de a mídia conter CSAM.
• Detecção de agentes mal-intencionados e aplicação de medidas. Com base nos identificadores e nas informações disponíveis, como nomes de usuário, endereços de e-mail e IDs de dispositivos, considere banir permanentemente ou restringir de outras formas as contas usadas para violar ou tentar violar as políticas sobre CSAM. Fique atento a infratores reincidentes que tentem contornar as medidas aplicadas.

Responder e denunciar

Garanta que seu produto e sua equipe possam tomar as medidas adequadas quando você tomar conhecimento de CSAM no seu serviço.

• Cadastre-se e prepare-se para denunciar CSAM às autoridades. Cadastre-se no NCMEC ou no seu canal local de denúncias. Considere quais informações permitem que o NCMEC tome providências a partir de uma denúncia e como ela pode contribuir para a proteção de crianças. Inclua o máximo de informações possível para ajudar a encaminhar a denúncia à jurisdição adequada e identificar o suspeito. No NCMEC, a documentação dos campos de denúncia inclui endereços IP, IDs de dispositivos e outros dados.

• Mantenha registros e identificadores que possam ser utilizados. Ao fazer uma denúncia, preserve a documentação do incidente e todos os dados associados que possam ajudar a identificar os infratores, para que você possa atender às solicitações das autoridades policiais.
• Crie um manual de resposta. Defina quem analisa as denúncias, como encaminhar casos urgentes às instâncias responsáveis dentro e fora da organização, quais medidas tomar contra usuários responsáveis por violações e quem pode tomar essas decisões. Este recurso da TSPA pode ajudar você a estruturar as operações de aplicação de medidas.
• Considere estabelecer uma rede de especialistas confiáveis que possam fazer denúncias, incluindo organizações como a IWF e outros canais de denúncia, que possam usar sua experiência para sinalizar casos de CSAM para você.
• Capacite e apoie as pessoas envolvidas. É importante manter a participação humana no processo. Garanta que revisores, equipes de suporte e profissionais de plantão entendam sua política, o fluxo de encaminhamento de casos e os limites de qualquer sistema automatizado.
• Use as ferramentas necessárias para moderar conteúdo ou responder a abusos. Outras ferramentas podem ajudar você a lidar com riscos e danos à segurança de crianças:
  • A API de Moderação detecta conteúdo potencialmente nocivo em textos e imagens. Saiba mais sobre o modelo omni-moderation-latest. Ela não substitui a detecção específica de CSAM. Ainda assim, inclui a categoria sexual/minors, que abrange conteúdo sexual envolvendo pessoas menores de 18 anos; essa categoria se aplica apenas a texto. Use os resultados para:
    • Bloquear ou filtrar conteúdo.
    • Enviar conteúdo para revisão humana.
    • Intervir em uma conta.
    • Dificultar o uso indevido recorrente e aplicar medidas específicas do produto ou serviço.
  • Considere outras ferramentas de moderação que possam ajudar. Por exemplo, o Coop da ROOST é um console de revisão de código aberto para triagem de possíveis violações de políticas em textos, conteúdo multimídia e perfis. Ele oferece suporte à revisão humana e automatizada, adota uma abordagem voltada ao bem-estar dos revisores e permite fluxos de trabalho completos de moderação, incluindo o envio de denúncias à CyberTipline do NCMEC.

Quando estiver pronto para ir além, considere outras medidas de resposta e denúncia:

• Apoie as pessoas envolvidas no combate ao CSAM. As organizações devem investir em treinamento, apoio e um programa de bem-estar para revisores de CSAM. Leia as recomendações da WeProtect .
• Busque apoio especializado. Você não precisa de uma grande equipe de confiança e segurança para começar. A Tech Coalition oferece caminhos para que as empresas desenvolvam sistemas mais sólidos de segurança infantil:
  • Pathways é um programa gratuito de capacitação desenvolvido especialmente para startups e plataformas de pequeno e médio porte, mas aberto a empresas de todos os tamanhos. Ele oferece recursos práticos, orientações e apoio para ajudar as empresas a estabelecer bases sólidas de segurança infantil. Empresas elegíveis também podem solicitar uma sublicença do PhotoDNA por meio do Pathways.
  • Elevate oferece consultoria personalizada e apoio à implementação para empresas que buscam ajuda mais prática para fortalecer seus programas de segurança infantil e responder a riscos específicos.
  • A associação à Tech Coalition permite que as empresas participem da resposta colaborativa global do setor à exploração e ao abuso sexual infantil on-line, interajam com outras empresas, compartilhem conhecimentos e contribuam para ações coletivas. Entre em contato com a equipe da Tech Coalition para uma consulta inicial.
  • Os desenvolvedores podem consultar, na Tech Coalition, as boas práticas de segurança infantil para obter mais orientações.

Amplie as medidas de proteção

Os controles e as medidas de proteção adequados dependem do produto, do seu estágio de desenvolvimento e maturidade, dos seus usuários e recursos, das regiões em que opera e dos recursos disponíveis.

Produtos com maior exposição a riscos, por exemplo, os que oferecem transmissões ao vivo, geração ou edição de imagens, armazenamento de arquivos ou conexões privadas, devem considerar a implementação e o fortalecimento de medidas de proteção como:

• Avaliações de risco do produto antes do lançamento e sempre que houver mudanças em recursos de alto risco. Consulte as orientações da Ofcom sobre avaliação de riscos .
• Detecção em camadas adequada ao serviço, que pode incluir correspondência de hashes, classificadores de imagens ou vídeos, sinais em textos, detecção de palavras-chave e bloqueio de URLs.
• Revisão humana de sinais com alto grau de confiança ou de gravidade, usando ferramentas que protejam o bem-estar dos revisores e limitem a exposição desnecessária a material nocivo.
• Limites de taxa, controles de conta e monitoramento de abusos que dificultem o uso indevido recorrente.
• Testes e medições regulares para identificar lacunas, acompanhar resultados e melhorar seus controles.

Estas recomendações são um ponto de partida, não uma orientação jurídica nem um padrão universal de diligência. Adapte-as ao seu serviço, perfil de risco e à legislação aplicável.