Teste zunächst jede Funktion einzeln, bevor du das installierte Plugin als Ganzes testest. Enthält dein Plugin einen MCP-Server, verbinde ihn zuerst mit ChatGPT und teste ihn dort. Erstelle anschließend ein Plugin-Paket mit den zugehörigen Skills und teste den gesamten Ablauf. Bei einem Plugin, das nur Skills enthält, kannst du den ersten Abschnitt überspringen.
Bewahre deine Testprompts und Ergebnisse während der gesamten Entwicklung auf, damit du das Verhalten verschiedener Versionen vergleichen kannst.
Einen MCP-Server testen (optional)
Endpunkt vorbereiten
Prüfe folgende Voraussetzungen:
- Der MCP-Server ist über einen öffentlichen HTTPS-Endpunkt oder über Secure MCP Tunnel erreichbar.
- Bei einem öffentlichen Endpunkt steht Streamable HTTP zur Verfügung, üblicherweise unter
/mcp. Bei einer Tunnelverbindung erreicht der Tunnel den für ihn konfigurierten MCP-Server über stdio oder HTTP. - Für die Tools sind Namen, Beschreibungen, Schemas und Annotationen vorhanden.
- Bei Tools, die ein Konto erfordern, lassen sich die Authentifizierungsinformationen automatisch ermitteln.
Mit Secure MCP Tunnel kannst du einen privaten MCP-Server mit ChatGPT verbinden, ohne ihn über das öffentliche Internet zugänglich zu machen. Für lokale Tests kannst du auch einen Entwicklungstunnel oder einen anderen HTTPS-Weiterleitungsdienst als Endpunkt verwenden. Für die Einreichung des Plugins brauchst du weiterhin einen öffentlichen HTTPS-Endpunkt.
MCP-Server überprüfen
Mit MCP Inspector kannst du die Tools auflisten und direkt aufrufen:
npx @modelcontextprotocol/inspector@latest
Teste jedes Tool mit typischen Eingaben. Berücksichtige auch Grenzfälle, fehlende Kennungen und leere Ergebnisse. Prüfe die Schemavalidierung, die Fehlermeldungen bei der Authentifizierung, die Annotationen, das Verhalten bei Bestätigungen und das für das Modell lesbare Ergebnis.
MCP-Server hinzufügen
Für das Hinzufügen und Verwenden benutzerdefinierter MCP-Server gelten die Richtlinien deines Kontos und deines Workspaces.
- Öffne die ChatGPT-Plugins.
- Wähle die Plus-Schaltfläche und dann „Benutzerdefinierten MCP-Server hinzufügen“.
- Gib den Namen und die Beschreibung ein, die bei der Nutzung angezeigt werden.
- Wähle unter „Verbindung“ die Verbindungsmethode:
- Gib bei einem öffentlichen Endpunkt die URL des MCP-Servers einschließlich des Pfads
/mcpein. - Wähle für Secure MCP Tunnel die Option „Tunnel“. Wähle dann einen verfügbaren Tunnel aus oder gib seine
tunnel_idein.
- Gib bei einem öffentlichen Endpunkt die URL des MCP-Servers einschließlich des Pfads
- Konfiguriere die Authentifizierung, lies den Risikohinweis und wähle „Ich verstehe die Risiken und möchte fortfahren“.
- Wähle „Als Plugin erstellen“.
- Prüfe die Tools und Metadaten, die ChatGPT beim Server ermittelt hat.
Wenn ChatGPT keine Verbindung herstellen kann, prüfe den öffentlichen HTTPS-Endpunkt mit MCP Inspector. Prüfe bei einem Tunnel die Zuordnung zum Workspace und den Status von tunnel-client. Behebe Fehler bei der Übertragung, Initialisierung, Schemaverarbeitung oder Authentifizierung, bevor du fortfährst.
Tool-Auswahl prüfen
Installiere das erstellte Plugin und starte einen neuen Chat. Gib @ in das Eingabefeld ein und wähle das Plugin aus. Stelle eine Testreihe mit folgenden Anfragen zusammen:
- Direkte Anfragen, bei denen ein bestimmtes Tool aufgerufen werden soll.
- Indirekte Anfragen, die dasselbe Ziel ausdrücken.
- Folgeanfragen, die Kennungen aus früheren Ergebnissen erneut verwenden.
- Schreibaktionen, die eine Autorisierung oder Bestätigung erfordern.
- Nicht unterstützte Anfragen, bei denen kein Tool aufgerufen werden soll.
Halte für jede Anfrage fest, welches Tool ausgewählt wurde, welche Argumente es erhalten hat, welches Ergebnis es geliefert hat, welche Fehler aufgetreten sind und ob und wie eine Bestätigung angefordert wurde. Wiederhole die Testreihe, sobald du Namen, Beschreibungen, Schemas oder Annotationen der Tools änderst.
Wenn der Server eine optionale Benutzeroberfläche zurückgibt, teste sowohl die Komponente als auch das für das Modell lesbare Ergebnis.
Im API Playground testen
Die unverarbeiteten Anfrage- und Antwortprotokolle kannst du im API Playground einsehen:
- Wähle „Tools → Hinzufügen → MCP-Server“.
- Gib den HTTPS-Endpunkt ein und stelle die Verbindung her.
- Führe Testprompts aus und prüfe die Anfrage- und Antwortdaten.
Metadaten aktualisieren
Wenn du Tool-Namen, Beschreibungen, Schemas, Annotationen, die Authentifizierung oder Ressourcen der Benutzeroberfläche änderst, gehe wie folgt vor:
- Stelle den MCP-Server bereit oder starte ihn neu.
- Öffne die Verbindung auf der Seite ChatGPT-Plugins.
- Wähle „Aktualisieren“.
- Prüfe, ob der Server die geänderten Metadaten meldet.
- Starte einen neuen Chat und wiederhole die betroffenen Tests.
Dieser Ablauf gilt für benutzerdefinierte MCP-Server, die direkt mit ChatGPT verbunden sind. Bei veröffentlichten Plugins unterliegen Tool-Updates der laufenden Überprüfung. Wenn du eingereichte Plugin-Informationen oder importierte Skills änderst, ist weiterhin eine neue Version erforderlich, die erneut geprüft und veröffentlicht wird.
Prüfe vor dem Erstellen des Plugin-Pakets folgende Punkte:
- Die Tool-Liste entspricht dem dokumentierten Funktionsumfang.
- Die strukturierten Ergebnisse entsprechen dem für das jeweilige Tool deklarierten Ausgabeschema.
- Wenn die Authentifizierung fehlschlägt, erhältst du aussagekräftige Fehlermeldungen.
- Bei positiven Testprompts werden die erwarteten Tools ausgewählt. Bei negativen Testprompts wird kein Tool ausgewählt.
- Die optionale Benutzeroberfläche wird ohne Konsolenfehler angezeigt und stellt ihren Zustand korrekt wieder her.
Das vollständige Plugin testen
Sobald der MCP-Server funktioniert, erstelle das vollständige Plugin-Paket und installiere es aus einer lokalen Quelle. Enthält dein Plugin nur Skills, kannst du direkt mit diesen Schritten beginnen:
- Erstelle das Plugin-Paket mit den zugehörigen Skills, dem Manifest und gegebenenfalls der Verbindung zum MCP-Server.
- Füge das Plugin einem lokalen Marketplace hinzu und installiere es über das Plugin-Verzeichnis.
- Starte einen neuen Chat, in dem das Plugin aktiviert ist.
- Teste typische Anfragen aus der Liste der Anwendungsfälle des Plugins.
Stelle eine Testreihe mit folgenden Fällen zusammen:
- Direkte Anfragen, bei denen ein Skill zum Einsatz kommen soll.
- Indirekte Anfragen, die dasselbe Ziel ausdrücken.
- Folgeanfragen, die von einem früheren Ergebnis abhängen.
- Negative Testfälle, bei denen das Plugin nicht zum Einsatz kommen soll.
- Grenzfälle, die das Plugin bewusst nicht unterstützt.
Prüfe bei jeder Anfrage, ob das Plugin die Anweisungen des Skills befolgt, die erwarteten Ressourcen verwendet, alle erforderlichen Schritte ausführt und ein brauchbares Ergebnis liefert. Halte fest, wenn Schritte fehlen, das Plugin oder ein Skill unnötig aktiviert wird oder Ergebnisse inkonsistent sind.
Prüfe bei Plugins mit MCP-Server außerdem, ob die Skills die richtigen Tools aufrufen, die Tool-Ergebnisse wieder in den jeweiligen Ablauf einfließen und die Authentifizierung nach der Installation funktioniert. Prüfe auch, ob Personen, die das Plugin nutzen, jeden Ablauf, der Skills und Tools kombiniert, von Anfang bis Ende durchführen können.
Prüfe vor der Einreichung folgende Punkte:
- Jeder Skill wird bei den dafür vorgesehenen Anfragen aktiviert.
- Ähnliche Formulierungen führen zu konsistentem Verhalten.
- Nicht unterstützte Anfragen aktivieren das Plugin nicht.
- Nach der Installation lassen sich die mitgelieferten Dateien finden und die Verweise auflösen.
- Die vorgeschlagenen Einstiegsprompts stehen für Abläufe, die das Plugin vollständig ausführen kann.
- Bei Plugins mit MCP-Server arbeiten die mitgelieferten Skills und Tools wie vorgesehen zusammen.