Warum Metadaten wichtig sind
ChatGPT und Codex entscheiden anhand deiner Metadaten, wann sie dein Tool aufrufen. Mit präzisen Namen, Beschreibungen und Angaben zu den Parametern rufen sie dein Tool bei passenden Prompts häufiger und bei unpassenden seltener auf. Behandle Metadaten wie Produkttexte: Teste sie, werte die Ergebnisse aus und überarbeite sie regelmäßig.
Referenzsatz mit Prompts zusammenstellen
Bevor du die Metadaten anpasst, stelle einen Datensatz zusammen und ordne jeden Prompt einer Kategorie zu:
- Direkte Prompts: Die Anfrage nennt dein Produkt oder deine Datenquelle ausdrücklich.
- Indirekte Prompts: Die Anfrage beschreibt das gewünschte Ergebnis, ohne dein Tool zu nennen.
- Negative Prompts: Ein integriertes oder ein anderes Tool sollte die Anfrage bearbeiten.
Halte für jeden Prompt fest, was das Modell tun soll: dein Tool aufrufen, nichts tun oder eine Alternative verwenden. Diesen Referenzsatz verwendest du später für Regressionstests.
Metadaten formulieren, die dem Modell Orientierung geben
Für jedes Tool gelten folgende Empfehlungen:
- Name: Kombiniere den Anwendungsbereich mit der Aktion (
calendar.create_event). - Beschreibung: Beginne mit „Verwende dieses Tool, wenn …“ und nenne ausdrücklich die Fälle, in denen das Modell das Tool nicht verwenden darf („Nicht für Erinnerungen verwenden“).
- Parameterdokumentation: Beschreibe jedes Argument und gib Beispiele an. Verwende bei Eingaben mit eingeschränktem Wertebereich zulässige Werte.
- Hinweis für Tools ohne Schreibzugriff: Setze
readOnlyHint: truebei Tools, die ausschließlich Informationen abrufen oder berechnen und außerhalb der Unterhaltung niemals Daten erstellen, ändern, löschen oder versenden. - Hinweis zu destruktiven Aktionen: Setze
destructiveHint: falsebei Tools, die Nutzerdaten weder löschen noch überschreiben. - Hinweis zum externen Zugriff: Setze
openWorldHint: true, wenn ein Tool auf das öffentliche Internet zugreift oder wenn die externen Ressourcen, auf die es zugreifen kann, nicht fest eingegrenzt sind. Das gilt auch für Tools ohne Schreibzugriff wie die Websuche. Verwendefalse, wenn der Zugriff auf ein abgegrenztes privates Konto oder einen abgegrenzten privaten Workspace beschränkt ist, auch wenn der Dienst extern gehostet wird.
Eigenen MCP-Server evaluieren
- Verbinde deinen eigenen MCP-Server in ChatGPT und installiere das daraus entstehende Plugin.
- Teste alle Prompts im Referenzsatz. Halte jeweils fest, welches Tool das Modell ausgewählt hat, welche Argumente es übergeben hat und ob die Komponente gerendert wurde.
- Erfasse für jeden Prompt die Präzision (hat das Modell das richtige Tool aufgerufen?) und den Recall (hat das Modell das Tool aufgerufen, wenn es das tun sollte?).
Wenn das Modell das falsche Tool auswählt, beschreibe den vorgesehenen Anwendungsfall deutlicher oder grenze den Einsatzbereich des Tools enger ein.
Metadaten schrittweise verbessern
- Ändere jeweils nur ein Metadatenfeld, damit du Verbesserungen der jeweiligen Änderung zuordnen kannst.
- Protokolliere jede Änderung mit Zeitstempel und Testergebnissen.
- Gib die Diffs zur Prüfung weiter, damit mehrdeutige Formulierungen vor der Bereitstellung auffallen.
Wiederhole die Evaluierung nach jeder Überarbeitung. Strebe bei negativen Prompts zuerst eine hohe Präzision an, bevor du versuchst, den Recall noch geringfügig zu verbessern.
Überwachung im Produktivbetrieb
Sobald dein MCP-Server im Produktivbetrieb läuft:
- Werte die Tool-Aufrufe wöchentlich aus. Wenn deutlich häufiger bestätigt wird, dass das Modell das falsche Tool ausgewählt hat, passen die Metadaten meist nicht mehr zum tatsächlichen Einsatz.
- Sammle Rückmeldungen und passe die Beschreibungen an, um häufige Missverständnisse auszuräumen.
- Plane regelmäßige Testläufe mit denselben Prompts ein, insbesondere wenn du neue Tools hinzugefügt oder strukturierte Felder geändert hast.
Pflege deine Metadaten kontinuierlich. Je sorgfältiger du sie formulierst und ihre Wirkung prüfst, desto leichter findet das Modell das passende Tool und ruft es auf.