Otimizar metadados

Por que os metadados importam

O ChatGPT e o Codex decidem quando chamar sua ferramenta com base nos metadados que você fornece. Nomes, descrições e documentação de parâmetros bem elaborados aumentam a revocação para prompts relevantes e reduzem ativações acidentais. Trate os metadados como textos do produto: eles precisam de aprimoramento contínuo, testes e análise de dados.

Reúna um conjunto de prompts de referência

Antes de ajustar os metadados, monte um conjunto de dados rotulados:

• Prompts diretos: os usuários mencionam explicitamente seu produto ou sua fonte de dados.
• Prompts indiretos: os usuários descrevem o resultado que desejam sem mencionar sua ferramenta.
• Prompts negativos: casos em que ferramentas integradas ou outras ferramentas devem atender à solicitação.

Documente o comportamento esperado para cada prompt (chamar sua ferramenta, não fazer nada ou usar uma alternativa). Você reutilizará esse conjunto nos testes de regressão.

Redija metadados que orientem o modelo

Para cada ferramenta:

• Nome: combine o domínio com a ação (calendar.create_event).
• Descrição: comece com “Use esta ferramenta quando…” e destaque os casos em que o uso não é permitido (“Não use para lembretes”).
• Documentação dos parâmetros: descreva cada argumento, inclua exemplos e use valores permitidos para entradas com restrições.
• Indicação de somente leitura: adicione a anotação readOnlyHint: true às ferramentas que apenas consultam ou calculam informações e nunca criam, atualizam, excluem ou enviam dados fora da conversa.
• Indicação de ação destrutiva: adicione a anotação destructiveHint: false às ferramentas que não excluem nem sobrescrevem dados do usuário.
• Indicação de mundo aberto: adicione a anotação openWorldHint: true quando uma ferramenta acessar a internet pública ou entidades externas sem escopo delimitado, incluindo ferramentas somente leitura como pesquisa na Web. Use false para uma ferramenta restrita a uma conta privada ou a um workspace com escopo delimitado, mesmo que o serviço seja hospedado externamente.

Avalie no modo de desenvolvedor

1. No ChatGPT, ative o Modo de desenvolvedor em Configurações → Segurança e login, depois registre seu servidor MCP em Plug-ins do ChatGPT.
2. Execute o conjunto de prompts de referência e registre o resultado: qual ferramenta foi selecionada, quais argumentos foram passados e se o componente foi renderizado.
3. Para cada prompt, acompanhe a precisão (a ferramenta certa foi executada?) e a revocação (a ferramenta foi executada quando deveria?).

Se o modelo escolher a ferramenta errada, revise as descrições para destacar o cenário pretendido ou restringir o escopo da ferramenta.

Faça ajustes de forma metódica

• Altere um campo de metadados por vez para identificar quais mudanças geram melhorias.
• Mantenha um registro das revisões com datas, horários e resultados dos testes.
• Compartilhe as diferenças entre versões com os revisores para identificar textos ambíguos antes de colocá-los em produção.

Após cada revisão, repita a avaliação. Busque alta precisão nos prompts negativos antes de tentar obter pequenos ganhos de revocação.

Monitoramento em produção

Quando seu servidor MCP estiver em produção:

• Revise semanalmente os dados de análise das chamadas de ferramentas. Picos nas confirmações de “ferramenta errada” geralmente indicam que os metadados estão ficando desalinhados.
• Colete feedback dos usuários e atualize as descrições para esclarecer equívocos comuns.
• Programe novas execuções periódicas dos prompts, especialmente após adicionar ferramentas ou alterar campos estruturados.

Trate os metadados como um recurso em constante evolução. Quanto mais cuidado você dedicar à redação e à avaliação, mais fácil será descobrir e chamar suas ferramentas.