Optimisation des métadonnées

Pourquoi les métadonnées sont importantes

ChatGPT et Codex décident quand appeler votre outil en fonction des métadonnées que vous fournissez. Des noms, des descriptions et une documentation des paramètres bien rédigés améliorent le rappel pour les prompts pertinents et réduisent les activations accidentelles. Accordez aux métadonnées le même soin qu’aux textes de votre produit : elles nécessitent des itérations, des tests et des analyses.

Constituez un jeu de prompts de référence

Avant d’ajuster les métadonnées, constituez un jeu de données annotées :

• Prompts directs : les utilisateurs nomment explicitement votre produit ou votre source de données.
• Prompts indirects : les utilisateurs décrivent le résultat souhaité sans nommer votre outil.
• Prompts négatifs : cas où la demande doit être traitée par les outils intégrés ou par d’autres outils.

Documentez le comportement attendu pour chaque prompt (appeler votre outil, ne rien faire ou utiliser une autre solution). Vous réutiliserez ce jeu lors des tests de non-régression.

Rédigez des métadonnées qui guident le modèle

Pour chaque outil :

• Nom : associez le domaine à l’action (calendar.create_event).
• Description : commencez par « Utilisez cet outil lorsque… » et précisez les cas d’utilisation interdits (« N’utilisez pas cet outil pour les rappels »).
• Documentation des paramètres : décrivez chaque argument, incluez des exemples et utilisez les valeurs autorisées pour les entrées soumises à des contraintes.
• Indicateur de lecture seule : ajoutez l’annotation readOnlyHint: true aux outils qui se limitent à récupérer ou à calculer des informations et qui ne créent, ne modifient, ne suppriment ni n’envoient jamais de données en dehors de la conversation.
• Indicateur d’action destructive : ajoutez l’annotation destructiveHint: false aux outils qui ne suppriment ni n’écrasent les données des utilisateurs.
• Indicateur d’accès au monde extérieur : ajoutez l’annotation openWorldHint: true lorsqu’un outil accède à l’internet public ou à des entités externes sans périmètre défini, y compris les outils en lecture seule tels que la recherche web. Utilisez false pour un outil limité à un compte privé ou à un espace de travail privé au périmètre délimité, même si le service est hébergé à l’extérieur.

Évaluez en mode développeur

1. Dans ChatGPT, activez le mode développeur dans Paramètres → Sécurité et connexion, puis enregistrez votre serveur MCP dans Plugins ChatGPT.
2. Testez chaque prompt du jeu de référence et consignez les résultats : l’outil sélectionné, les arguments transmis et l’affichage ou non du composant.
3. Pour chaque prompt, suivez la précision (le bon outil a-t-il été exécuté ?) et le rappel (l’outil a-t-il été exécuté lorsqu’il devait l’être ?).

Si le modèle choisit le mauvais outil, révisez les descriptions pour mettre en avant le scénario prévu ou restreindre le périmètre de l’outil.

Procédez par itérations méthodiques

• Modifiez un seul champ de métadonnées à la fois pour pouvoir déterminer l’origine des améliorations.
• Tenez un journal des révisions avec les horodatages et les résultats des tests.
• Partagez les diffs avec les personnes chargées de la révision pour repérer les formulations ambiguës avant leur déploiement.

Après chaque révision, recommencez l’évaluation. Visez une précision élevée sur les prompts négatifs avant de chercher à améliorer le rappel à la marge.

Suivi en production

Une fois votre serveur MCP en ligne :

• Examinez chaque semaine les statistiques d’appels d’outils. Une hausse soudaine des confirmations de sélection du « mauvais outil » indique généralement que les métadonnées ne sont plus adaptées.
• Recueillez les retours des utilisateurs et mettez à jour les descriptions pour clarifier les points fréquemment mal compris.
• Planifiez une nouvelle exécution des prompts à intervalles réguliers, en particulier après l’ajout d’outils ou la modification de champs structurés.

Faites évoluer vos métadonnées au fil du temps. Plus vous soignez leur formulation et leur évaluation, plus la découverte et l’appel de vos outils deviennent faciles.