Use o Promptfoo, uma biblioteca de código aberto, para avaliar aplicativos e agentes de IA e realizar testes de red teaming. Defina casos de teste e verificações para medir o comportamento do aplicativo, comparar prompts ou modelos e investigar falhas. Você também pode testar aplicativos com entradas adversariais para identificar riscos de segurança.
O Promptfoo faz parte da OpenAI.
Comece com uma avaliação simples. Execute um exemplo de tradução no terminal ou peça ao Codex que configure uma avaliação para o seu aplicativo.
Comece pela CLI
Com o Node.js 22.22.0 ou superior instalado, escolha como executar o exemplo do Promptfoo. Ele usa casos de teste para comparar as traduções de diferentes modelos.
npx promptfoo@latest init --example getting-started
cd getting-startedUse um ambiente virtual ativo com Python 3.10 ou superior. O wrapper para pip também requer o Node.js 22.22.0 ou superior.
pip install promptfoo
promptfoo init --example getting-started
cd getting-startedO exemplo cria o arquivo promptfooconfig.yaml com um prompt de tradução, provedores de modelos e casos de teste. Cada teste inclui uma asserção que verifica se a saída contém uma frase esperada. Configure sua chave da API da OpenAI no terminal, substituindo o valor de exemplo pela sua chave.
export OPENAI_API_KEY="<your-api-key>"Execute a avaliação e abra o visualizador de resultados. As chamadas aos modelos feitas durante a avaliação geram cobranças pelo uso da API.
npx promptfoo@latest eval
npx promptfoo@latest viewpromptfoo eval
promptfoo viewAbra a URL local para comparar as saídas dos modelos e ver quais asserções passaram ou falharam. Examine também as saídas. Quando uma asserção passa, ela confirma apenas que uma condição específica foi atendida. A qualidade geral da resposta precisa ser avaliada separadamente. Edite o prompt ou os casos de teste em promptfooconfig.yaml e execute a avaliação novamente.
Uma avaliação separada do App Server do Codex compara gpt-6.1-sol (esforço de raciocínio médio) e gpt-6-luna (esforço de raciocínio alto) em 12 tarefas de programação. Cada resultado leva em conta os testes executáveis que verificam se o código funciona corretamente e o limite de 30 segundos. Todas as implementações passaram nos testes de código. Os resultados em vermelho indicam que o limite de tempo foi excedido.
Comece pelo Codex App
Use o plugin do Promptfoo para adicionar ao Codex habilidades para configurar e executar avaliações.
Selecione Abrir no Codex para iniciar uma tarefa ou Copiar prompt para colar o prompt em uma tarefa existente.
O Codex pode precisar da sua ajuda com as credenciais ou com as permissões necessárias para a configuração. Avaliações que fazem chamadas a um modelo podem gerar cobranças pelo uso da API.
Próximos passos
Continue explorando a documentação do Promptfoo.
- Configure avaliações com prompts, modelos e casos de teste seguindo o guia de configuração.
- Verifique as saídas escolhendo as verificações e os métodos de pontuação na documentação sobre asserções e métricas.
- Teste o aplicativo em busca de riscos de segurança usando entradas adversariais conforme o guia de red teaming.