O red teaming usa casos de teste adversariais para ajudar a identificar, antes da implantação, comportamentos que podem causar danos, comprometer a segurança ou violar políticas. Essa prática complementa as avaliações ao explorar cenários de uso indevido, modos de falha e interações de alto risco que os testes de qualidade convencionais podem deixar passar.
Importante: Envie ao OpenAI Red Teaming apenas código ou outros recursos que sejam de sua propriedade ou que você tenha autorização expressa para testar. Não use o OpenAI Red Teaming para analisar ou relatar vulnerabilidades em código aberto ou em qualquer código de terceiros sem autorização expressa e por escrito da OpenAI.
Use o Promptfoo para fazer red teaming com ferramentas de código aberto
O Promptfoo é um framework de código aberto para avaliar prompts, agentes e aplicativos de IA. Seus fluxos de trabalho de red teaming ajudam você a gerar casos de teste adversariais, examinar o comportamento do sistema testado e usar os resultados para aprimorá-lo.
Para conhecer mais a fundo a metodologia de código aberto, consulte o guia de red teaming para LLMs do Promptfoo.
Disponibilidade para empresas
O OpenAI Red Teaming está disponível para clientes empresariais que precisam de um serviço gerenciado de red teaming para aplicativos e agentes de IA. Os fluxos de trabalho empresariais podem atender a necessidades mais amplas de coordenação, revisão e elaboração de relatórios do que um fluxo de trabalho local executado de forma independente.
Red teaming e avaliações
Use avaliações para medir até que ponto um sistema de IA se comporta conforme o esperado. Use o red teaming para investigar como esse sistema reage a entradas adversariais, abusivas ou inesperadas. Programas de avaliação maduros costumam combinar as duas abordagens.