Avalie fluxos de trabalho de agentes

A plataforma da OpenAI oferece ferramentas de avaliação para ajudar você a garantir que seus agentes atuem com consistência e precisão.

Use este guia para escolher os recursos de avaliação mais adequados ao seu fluxo de trabalho de agentes.

Comece pelos rastros de execução enquanto investiga o comportamento do agente

Avaliar rastros de execução é a maneira mais rápida de identificar problemas no fluxo de trabalho como um todo. Cada rastro registra uma execução do início ao fim, incluindo chamadas a modelos e ferramentas, mecanismos de proteção e transferências de controle entre agentes. Com os avaliadores, você pode atribuir pontuações a esses rastros com base em critérios estruturados e identificar regressões e modos de falha em escala.

Use a avaliação de rastros para responder a perguntas como estas:

• O agente escolheu a ferramenta certa?
• A transferência de controle ocorreu quando deveria?
• O fluxo de trabalho violou alguma instrução ou política de segurança?
• Uma alteração no prompt ou no roteamento melhorou o comportamento do fluxo de ponta a ponta?

Como avaliar rastros de execução

1. No painel, abra Logs > Traces.
2. Inspecione um rastro representativo do fluxo de trabalho de um aplicativo que usa o SDK. Durante o período de transição, você também pode usar um rastro de um fluxo de trabalho existente no Agent Builder.
3. Crie um avaliador e execute-o nos rastros selecionados.
4. Use os resultados para refinar os prompts, as interfaces das ferramentas, a lógica de roteamento ou os mecanismos de proteção.

Para fluxos de trabalho implementados em código com o SDK, comece por Integrações e observabilidade para obter rastros que destaquem informações relevantes antes de formalizar os avaliadores.

Passe a usar conjuntos de dados e execuções de avaliação quando precisar repetir os testes

Quando você já souber o que caracteriza um “bom” resultado, passe da análise de rastros individuais para avaliações que você pode repetir com os mesmos conjuntos de dados. Essa etapa é indicada quando você quer medir o impacto de alterações em relação a uma referência, comparar prompts ou realizar avaliações em maior escala ao longo do tempo.

Se precisar de recursos avançados, como avaliações com modelos externos, APIs de avaliação ou avaliações em lote em maior escala, use Avaliações junto com os conjuntos de dados.

Recursos de avaliação relacionados