Evalúa los flujos de trabajo de tus agentes

La plataforma de OpenAI ofrece herramientas de evaluación que te ayudan a asegurar que tus agentes actúen de manera consistente y precisa.

Usa esta guía para elegir las herramientas de evaluación más adecuadas para tus flujos de trabajo de agentes.

Empieza con las trazas si aún estás depurando el comportamiento del agente

Calificar las trazas es la forma más rápida de identificar problemas en un flujo de trabajo. Una traza registra, de principio a fin, las llamadas a modelos y herramientas, los controles de seguridad y las transferencias de control entre agentes durante una ejecución. Con los calificadores puedes asignar puntuaciones a las trazas según criterios estructurados para detectar regresiones y tipos de fallas a gran escala.

Califica las trazas cuando quieras responder preguntas como estas:

• ¿El agente eligió la herramienta correcta?
• ¿Se transfirió el control a otro agente en el momento adecuado?
• ¿El flujo de trabajo incumplió alguna instrucción o política de seguridad?
• ¿Cambiar un prompt o el enrutamiento mejoró el comportamiento del flujo de principio a fin?

Pasos para calificar trazas

1. Abre Logs > Traces en el panel.
2. Inspecciona una traza representativa del flujo de trabajo de una aplicación que use el SDK. Durante el período de transición, también puedes usar una traza de un flujo de trabajo existente en Agent Builder.
3. Crea un calificador y ejecútalo sobre las trazas seleccionadas.
4. Usa los resultados para ajustar los prompts, las interfaces de las herramientas, la lógica de enrutamiento o los controles de seguridad.

Si defines tus flujos de trabajo en código con el SDK, consulta primero Integraciones y observabilidad para obtener trazas que te ayuden a identificar problemas antes de definir formalmente los calificadores.

Usa conjuntos de datos y ejecuciones de evaluación cuando necesites repetir las pruebas

Una vez que sepas qué consideras un “buen” resultado, pasa de inspeccionar trazas individuales a ejecutar evaluaciones que puedas repetir con los mismos conjuntos de datos. Da este paso cuando quieras medir el efecto de los cambios frente a una referencia, comparar prompts o realizar evaluaciones a mayor escala a lo largo del tiempo.

Si necesitas funciones avanzadas, como evaluar con modelos externos, usar API de evaluación o realizar evaluaciones por lotes a mayor escala, usa Evals junto con los conjuntos de datos.

Recursos relacionados con la evaluación