Optimisez les métadonnées

Pourquoi les métadonnées sont importantes

ChatGPT et Codex s’appuient sur les métadonnées que vous fournissez pour décider quand appeler votre outil. Des noms explicites, des descriptions précises et des paramètres bien documentés améliorent le rappel pour les prompts pertinents et réduisent les appels involontaires. Accordez aux métadonnées le même soin qu’aux textes de votre produit : testez-les, analysez les résultats et affinez leur formulation.

Constituez un jeu de prompts de référence

Avant d’ajuster les métadonnées, constituez un jeu de données annoté :

• Prompts directs : les utilisateurs nomment explicitement votre produit ou votre source de données.
• Prompts indirects : les utilisateurs décrivent le résultat souhaité sans nommer votre outil.
• Prompts négatifs : un outil intégré ou un autre outil devrait traiter la demande.

Consignez le comportement attendu pour chaque prompt (appeler votre outil, ne rien faire ou utiliser un autre outil). Vous réutiliserez ce jeu de prompts lors des tests de non-régression.

Rédigez des métadonnées qui guident le modèle

Pour chaque outil :

• Nom : associez le domaine à l’action (calendar.create_event).
• Description : commencez par « Utilisez cet outil lorsque… » et précisez les cas à exclure (« N’utilisez pas cet outil pour les rappels »).
• Documentation des paramètres : décrivez chaque argument, donnez des exemples et utilisez les valeurs autorisées pour les entrées soumises à des contraintes.
• Indication de lecture seule : ajoutez l’annotation readOnlyHint: true aux outils qui se limitent à récupérer des informations ou à effectuer des calculs, sans jamais créer, modifier ou supprimer de données ni en envoyer en dehors de la conversation.
• Indication d’action destructive : ajoutez l’annotation destructiveHint: false aux outils qui ne suppriment ni n’écrasent les données des utilisateurs.
• Indication d’accès au monde extérieur : ajoutez l’annotation openWorldHint: true lorsqu’un outil accède à l’Internet public ou à des ressources externes dont le périmètre n’est pas délimité. Cela vaut aussi pour les outils en lecture seule, comme la recherche web. Utilisez false pour un outil dont l’accès se limite au périmètre d’un compte privé ou d’un espace de travail privé, même si le service est hébergé à l’extérieur.

Évaluez votre serveur MCP personnalisé

1. Connectez votre serveur MCP personnalisé dans ChatGPT et installez le plugin obtenu.
2. Testez chaque prompt du jeu de référence. Consignez l’outil sélectionné et les arguments transmis, puis indiquez si le composant s’est affiché.
3. Pour chaque prompt, suivez la précision (le modèle a-t-il appelé le bon outil ?) et le rappel (a-t-il appelé l’outil lorsqu’il le fallait ?).

Si le modèle choisit le mauvais outil, reformulez les descriptions pour mieux faire ressortir le cas d’usage prévu ou restreignez le champ d’application de l’outil.

Affinez les métadonnées étape par étape

• Modifiez un seul champ de métadonnées à la fois pour identifier l’origine des améliorations.
• Tenez un journal des révisions en consignant la date, l’heure et les résultats des tests.
• Partagez les différences entre les versions avec les personnes chargées de la relecture pour repérer les formulations ambiguës avant le déploiement.

Après chaque révision, répétez l’évaluation. Visez une précision élevée sur les prompts négatifs avant de chercher à améliorer légèrement le rappel.

Suivi en production

Une fois votre serveur MCP en production :

• Examinez chaque semaine les statistiques d’appels d’outils. Une hausse soudaine des confirmations de type « mauvais outil » indique généralement que les métadonnées ne correspondent plus aux cas d’usage.
• Recueillez les retours des utilisateurs et mettez à jour les descriptions pour clarifier les points qui prêtent souvent à confusion.
• Prévoyez de rejouer régulièrement les prompts, en particulier après l’ajout d’outils ou la modification de champs structurés.

Faites évoluer vos métadonnées au fil du temps. Plus vous soignez leur formulation et leur évaluation, plus le modèle trouvera et appellera facilement le bon outil.