플러그인 전체를 설치해 테스트하기 전에 각 기능을 개별적으로 테스트하세요. 플러그인에 MCP 서버가 포함되어 있다면 먼저 ChatGPT에서 서버를 연결하고 평가하세요. 그런 다음 스킬을 포함해 플러그인을 패키징하고 사용자 경험 전반을 테스트하세요. 스킬만 포함된 플러그인은 첫 번째 섹션을 건너뛰어도 됩니다.
릴리스별로 동작을 비교할 수 있도록 개발하는 동안 평가에 사용한 프롬프트와 결과를 보관하세요.
MCP 서버 테스트(선택 사항)
엔드포인트 준비
다음 사항을 확인하세요.
- 공개 HTTPS 엔드포인트 또는 Secure MCP Tunnel을 통해 MCP 서버에 접근할 수 있습니다.
- 공개 엔드포인트를 사용하는 경우 스트리밍 가능한 HTTP를 지원하며, 일반적으로
/mcp경로를 사용합니다. 터널을 사용하는 경우 터널에서 연결 대상으로 설정한 stdio 또는 HTTP MCP 서버에 접근할 수 있습니다. - 도구 이름, 설명, 스키마, 어노테이션이 모두 제공됩니다.
- 계정이 필요한 도구에서 인증 설정을 자동으로 검색할 수 있습니다.
Secure MCP Tunnel을 사용하면 서버를 인터넷에 공개하지 않고도 ChatGPT에서 비공개 MCP 서버를 연결할 수 있습니다. 개발용 터널이나 다른 HTTPS 포워딩 서비스로 로컬 테스트용 엔드포인트를 마련할 수도 있습니다. 이러한 방법으로 테스트하더라도 플러그인 제출 시에는 공개 HTTPS 엔드포인트가 필요합니다.
MCP 서버 점검
MCP Inspector에서 도구 목록을 조회하고 각 도구를 직접 호출하세요.
npx @modelcontextprotocol/inspector@latest각 도구를 대표적인 입력으로 테스트하고, 경계 사례와 식별자가 누락되거나 결과가 비어 있는 경우도 테스트하세요. 스키마 검증, 인증 오류, 어노테이션, 사용자 확인 절차, 모델이 읽을 수 있는 결과를 점검하세요.
MCP 서버 추가
사용자 지정 MCP 서버를 추가하고 사용할 때는 계정 및 워크스페이스 정책이 적용됩니다.
- ChatGPT 플러그인으로 이동하세요.
- 더하기 버튼을 누른 다음 사용자 지정 MCP 서버 추가를 선택하세요.
- 사용자에게 표시할 이름과 설명을 입력하세요.
- 연결 항목에서 연결 방법을 선택하세요.
- 공개 엔드포인트를 사용하려면
/mcp경로를 포함한 MCP 서버 URL을 입력하세요. - Secure MCP Tunnel을 사용하려면 터널 항목을 선택한 다음 사용 가능한 터널을 선택하거나 해당 터널의
tunnel_id를 입력하세요.
- 공개 엔드포인트를 사용하려면
- 인증을 설정하고 위험 경고를 읽은 다음 이해했으며 계속 진행합니다 버튼을 선택하세요.
- 플러그인으로 만들기 버튼을 선택하세요.
- 서버에서 조회한 도구와 메타데이터를 검토하세요.
ChatGPT가 서버에 연결할 수 없으면 MCP Inspector로 공개 HTTPS 엔드포인트를 점검하거나 터널이 올바른 워크스페이스에 연결되어 있는지와 tunnel-client의 상태를 확인하세요. 전송, 초기화, 스키마 또는 인증 오류를 해결한 후 다음 단계로 진행하세요.
도구 선택 확인
생성한 플러그인을 설치한 다음 새 대화를 시작하세요. 프롬프트 입력란에 @를 입력하고 플러그인을 선택하세요. 다음 유형의 요청으로 평가 세트를 구성하세요.
- 특정 도구를 호출해야 하는 직접적인 요청
- 같은 목표를 간접적으로 표현한 요청
- 이전 결과의 식별자를 재사용하는 후속 요청
- 권한 부여 또는 사용자 확인이 필요한 쓰기 작업
- 지원 범위를 벗어나 도구를 호출하지 않아야 하는 요청
요청별로 선택된 도구, 인수, 결과, 오류를 기록하고 사용자 확인 절차가 어떻게 동작했는지도 기록하세요. 도구 이름, 설명, 스키마 또는 어노테이션을 변경할 때마다 평가 세트를 다시 실행하세요.
서버가 결과와 함께 UI도 반환하는 경우에는 UI 컴포넌트와 모델이 읽을 수 있는 결과를 모두 테스트하세요.
API Playground에서 테스트
요청과 응답의 원본 로그를 보려면 API Playground를 여세요.
- 도구 → 추가 → MCP 서버 순서로 선택하세요.
- HTTPS 엔드포인트를 입력하고 연결하세요.
- 테스트 프롬프트를 실행하고 요청 및 응답 데이터를 점검하세요.
메타데이터 새로 고침
도구 이름, 설명, 스키마, 어노테이션, 인증 또는 UI 리소스를 변경한 후에는 다음 단계를 따르세요.
- MCP 서버를 배포하거나 다시 시작하세요.
- ChatGPT 플러그인에서 해당 서버의 연결을 여세요.
- 새로 고침 버튼을 선택하세요.
- 서버가 제공하는 메타데이터에 변경 사항이 반영되었는지 확인하세요.
- 새 대화를 시작하고 변경 사항의 영향을 받는 테스트를 다시 실행하세요.
이 새로 고침 절차는 ChatGPT에서 직접 연결한 사용자 지정 MCP 서버에 적용됩니다. 게시된 플러그인의 도구 업데이트에는 지속적 검토가 적용됩니다. 제출한 플러그인 정보나 가져온 스킬을 변경하려면 여전히 새 버전을 만들어 검토를 거쳐 게시해야 합니다.
플러그인을 패키징하기 전에 다음 사항을 확인하세요.
- 도구 목록이 문서에 설명된 기능과 일치합니다.
- 구조화된 결과가 각 도구에 선언된 출력 스키마와 일치합니다.
- 인증에 실패하면 문제를 파악하는 데 도움이 되는 오류가 반환됩니다.
- 도구를 사용해야 하는 프롬프트에서는 예상한 도구가 선택되고, 도구를 사용하지 않아야 하는 프롬프트에서는 도구가 선택되지 않습니다.
- 선택적으로 제공되는 UI가 콘솔 오류 없이 렌더링되고 상태를 올바르게 복원합니다.
플러그인 전체 테스트
MCP 서버가 정상적으로 동작하면 로컬 소스에서 플러그인 전체를 패키징하고 설치하세요. 스킬만 포함된 플러그인은 이 단계부터 바로 시작하세요.
- 스킬과 매니페스트를 포함해 플러그인을 패키징하세요. MCP 서버를 사용하는 경우 서버 연결 정보도 포함하세요.
- 플러그인을 로컬 마켓플레이스에 추가한 다음 플러그인 디렉터리에서 설치하세요.
- 플러그인을 활성화한 상태로 새 대화를 시작하세요.
- 플러그인의 사용 사례 목록에서 대표적인 요청을 골라 실행하세요.
다음 유형의 요청으로 평가 세트를 구성하세요.
- 스킬을 사용해야 하는 직접적인 요청
- 같은 목표를 간접적으로 표현한 요청
- 이전 결과에 의존하는 후속 요청
- 플러그인을 사용하지 않아야 하는 요청
- 플러그인의 지원 범위에서 의도적으로 제외한 경계 사례
각 요청에서 플러그인이 스킬 지침을 따르고, 예상한 리소스를 사용하며, 필요한 단계를 모두 수행해 유용한 결과를 내는지 확인하세요. 누락된 단계, 불필요한 활성화, 일관되지 않은 결과가 있으면 기록하세요.
MCP 서버가 포함된 플러그인은 스킬이 올바른 도구를 호출하는지, 도구 결과가 워크플로우로 다시 전달되는지, 설치 후에도 인증이 정상적으로 동작하는지 확인하세요. 사용자가 스킬과 도구를 함께 사용하는 각 워크플로우를 처음부터 끝까지 완료할 수 있는지도 확인하세요.
제출하기 전에 다음 사항을 확인하세요.
- 각 스킬이 의도한 요청에서 활성화됩니다.
- 요청을 비슷한 표현으로 바꿔도 일관되게 동작합니다.
- 지원하지 않는 요청에서는 플러그인이 활성화되지 않습니다.
- 설치 후에도 패키지에 포함된 파일과 참조 대상을 찾을 수 있습니다.
- 플러그인의 시작 프롬프트가 플러그인으로 완료할 수 있는 워크플로우를 보여 줍니다.
- MCP 서버가 포함된 플러그인에서는 패키지에 포함된 스킬과 도구가 의도한 대로 함께 동작합니다.