O red teaming usa casos de teste adversariais para ajudar a descobrir comportamentos perigosos, inseguros ou que violem políticas antes da implantação. Ele complementa as avaliações ao se concentrar em casos de uso indevido, modos de falha e interações de alto risco que os testes de qualidade comuns podem não revelar.
Importante: Envie ao OpenAI Red Teaming apenas código ou outros ativos que sejam seus ou que você tenha autorização expressa para testar. Não use o OpenAI Red Teaming para analisar ou relatar vulnerabilidades em código aberto ou em qualquer código de terceiros sem a permissão expressa por escrito da OpenAI.
Use o Promptfoo para red teaming de código aberto
O Promptfoo é um framework de código aberto para avaliar prompts, agentes e aplicativos de IA. Seus fluxos de trabalho de red teaming ajudam você a gerar casos de teste adversariais, inspecionar o comportamento do alvo e usar os resultados para melhorar seu sistema.
Para conhecer a metodologia mais ampla de código aberto, consulte o guia de red teaming de LLMs do Promptfoo.
Disponibilidade para empresas
O OpenAI Red Teaming está disponível para clientes empresariais que precisam de uma solução gerenciada de red teaming para aplicativos e agentes de IA. Os fluxos de trabalho empresariais podem atender a necessidades mais amplas de coordenação, revisão e geração de relatórios do que um fluxo de trabalho local independente.
Red teaming e avaliações
Use avaliações para medir se um sistema de IA se comporta conforme o esperado. Use red teaming para investigar como esse sistema se comporta diante de entradas adversariais, abusivas ou inesperadas. Programas de avaliação maduros costumam usar as duas abordagens.