Warum Metadaten wichtig sind
ChatGPT und Codex entscheiden anhand deiner Metadaten, wann sie dein Werkzeug aufrufen. Gut gewählte Namen, Beschreibungen und Parameterdokumentationen erhöhen den Recall bei relevanten Prompts und verringern unbeabsichtigte Aufrufe. Behandle Metadaten wie Produkttexte: Sie müssen schrittweise überarbeitet, getestet und analysiert werden.
Einen Referenzsatz von Prompts zusammenstellen
Stelle einen annotierten Datensatz zusammen, bevor du die Metadaten optimierst:
- Direkte Prompts: Nutzende nennen dein Produkt oder deine Datenquelle ausdrücklich.
- Indirekte Prompts: Nutzende beschreiben das gewünschte Ergebnis, ohne dein Werkzeug zu nennen.
- Negative Prompts: Fälle, in denen integrierte oder andere Werkzeuge die Anfrage bearbeiten sollten.
Dokumentiere für jeden Prompt das erwartete Verhalten: dein Werkzeug aufrufen, nichts tun oder eine Alternative verwenden. Diesen Referenzsatz verwendest du bei Regressionstests wieder.
Metadaten formulieren, die dem Modell Orientierung geben
Für jedes Werkzeug:
- Name: Kombiniere den Bereich mit der Aktion (
calendar.create_event). - Beschreibung: Beginne mit „Verwende dieses Werkzeug, wenn …“ und nenne ausdrücklich unzulässige Anwendungsfälle („Nicht für Erinnerungen verwenden“).
- Parameterdokumentation: Beschreibe jedes Argument, füge Beispiele hinzu und verwende bei eingeschränkten Eingaben zulässige Werte.
- Hinweis auf fehlenden Schreibzugriff: Kennzeichne Werkzeuge mit
readOnlyHint: true, wenn sie nur Informationen abrufen oder berechnen und niemals Daten außerhalb der Unterhaltung erstellen, aktualisieren, löschen oder dorthin senden. - Hinweis auf destruktive Aktionen: Kennzeichne Werkzeuge mit
destructiveHint: false, wenn sie keine Nutzerdaten löschen oder überschreiben. - Hinweis auf Zugriff auf die offene Außenwelt: Setze
openWorldHint: true, wenn ein Werkzeug auf das öffentliche Internet oder nicht abschließend eingegrenzte externe Ressourcen zugreift. Das gilt auch für Werkzeuge ohne Schreibzugriff wie die Websuche. Verwendefalsefür ein Werkzeug, das auf ein abgegrenztes privates Konto oder einen Workspace beschränkt ist, auch wenn der Dienst extern gehostet wird.
Im Entwicklermodus evaluieren
- Aktiviere in ChatGPT den Entwicklermodus unter Einstellungen → Sicherheit und Anmeldung. Registriere anschließend deinen MCP-Server unter ChatGPT Plug-ins.
- Teste den Referenzsatz von Prompts und protokolliere die Ergebnisse: welches Werkzeug ausgewählt wurde, welche Argumente übergeben wurden und ob die Komponente gerendert wurde.
- Erfasse für jeden Prompt die Präzision (wurde das richtige Werkzeug ausgeführt?) und den Recall (wurde das Werkzeug ausgeführt, wenn es ausgeführt werden sollte?).
Wenn das Modell das falsche Werkzeug auswählt, überarbeite die Beschreibungen, um den vorgesehenen Anwendungsfall hervorzuheben oder den Einsatzbereich des Werkzeugs einzugrenzen.
Schrittweise und systematisch verbessern
- Ändere jeweils nur ein Metadatenfeld, damit du Verbesserungen eindeutig einer Änderung zuordnen kannst.
- Protokolliere Überarbeitungen mit Zeitstempeln und Testergebnissen.
- Teile Diffs mit den Prüfenden, damit mehrdeutige Formulierungen vor der Bereitstellung auffallen.
Wiederhole die Evaluierung nach jeder Überarbeitung. Strebe zuerst eine hohe Präzision bei negativen Prompts an, bevor du dich um geringfügige Verbesserungen des Recalls kümmerst.
Überwachung im Produktivbetrieb
Sobald dein MCP-Server im Betrieb ist:
- Prüfe wöchentlich die Analysen der Werkzeugaufrufe. Wenn Rückmeldungen wie „falsches Werkzeug“ sprunghaft zunehmen, deutet das meist darauf hin, dass die Metadaten nicht mehr zum tatsächlichen Einsatz passen.
- Sammle Feedback von Nutzenden und aktualisiere die Beschreibungen, um häufige Missverständnisse auszuräumen.
- Plane regelmäßige Wiederholungen der Prompt-Tests ein, insbesondere nachdem du neue Werkzeuge hinzugefügt oder strukturierte Felder geändert hast.
Pflege deine Metadaten kontinuierlich. Je gezielter du formulierst und evaluierst, desto leichter lässt sich dein Werkzeug finden und aufrufen.