La plateforme OpenAI propose des outils d’évaluation pour vous aider à vérifier que vos agents produisent des résultats fiables et précis d’une exécution à l’autre.
Cette page vous aide à choisir les outils d’évaluation les mieux adaptés à vos workflows d’agents.
Commencez par les traces si vous cherchez encore à comprendre un comportement inattendu
L’évaluation des traces est le moyen le plus rapide de repérer les problèmes à l’échelle du workflow. Une trace consigne le déroulement d’une exécution de bout en bout : appels aux modèles et aux outils, interventions des garde-fous et passages de relais entre agents. Les évaluateurs attribuent un score à chaque trace selon des critères structurés, ce qui vous permet de repérer les régressions et les modes de défaillance à grande échelle.
Évaluez les traces pour répondre à des questions comme celles-ci :
- L’agent a-t-il choisi le bon outil ?
- Le passage de relais a-t-il eu lieu au moment prévu ?
- Le workflow a-t-il enfreint une instruction ou une règle de sécurité ?
- La modification d’un prompt ou du routage a-t-elle amélioré le comportement du workflow de bout en bout ?
Procédure d’évaluation des traces
- Ouvrez Logs > Traces dans le tableau de bord.
- Examinez une trace représentative du workflow, issue d’une application qui utilise le SDK ou, pendant la période de transition, d’un workflow Agent Builder existant.
- Créez un évaluateur et exécutez-le sur les traces sélectionnées.
- Appuyez-vous sur les résultats pour affiner les prompts, les interfaces des outils, la logique de routage ou les garde-fous.
Pour les workflows que vous développez en code avec le SDK, consultez d’abord le guide Intégrations et observabilité afin d’obtenir des traces pertinentes avant de formaliser vos évaluateurs.
Passez aux jeux de données et aux campagnes d’évaluation pour reproduire vos tests
Une fois que vous savez ce qui constitue un « bon résultat », passez de l’examen de traces individuelles à des campagnes d’évaluation que vous pouvez répéter sur les mêmes jeux de données. Cette approche convient si vous souhaitez mesurer l’effet de modifications par rapport à une référence, comparer des prompts ou mener des évaluations à plus grande échelle au fil du temps.
Si vous avez besoin de fonctionnalités avancées, par exemple pour comparer les résultats à ceux de modèles externes, utiliser des API d’évaluation ou lancer des évaluations par lots à plus grande échelle, utilisez Evals en complément des jeux de données.
Ressources sur les outils d’évaluation
Mettez en place un cycle d’amélioration continue à partir de vos évaluations.
Comparez les résultats à ceux de modèles externes, pilotez vos évaluations via l’API et découvrez d’autres possibilités.
Utilisez votre jeu de données pour améliorer automatiquement vos prompts.
Mettez en place un cycle d’amélioration continue à partir de vos évaluations.