Optimizar los metadatos

Por qué importan los metadatos

ChatGPT y Codex deciden cuándo llamar a tu herramienta a partir de los metadatos que proporcionas. Si eliges bien los nombres y redactas con claridad las descripciones y la documentación de los parámetros, el modelo reconocerá más prompts en los que corresponde usar la herramienta y la activará por error con menos frecuencia. Trata los metadatos como cualquier otro texto del producto: revisa la redacción, haz pruebas y analiza los resultados.

Reúne un conjunto de prompts de referencia

Antes de ajustar los metadatos, prepara un conjunto de datos etiquetados:

• Prompts directos: los usuarios mencionan explícitamente tu producto o fuente de datos.
• Prompts indirectos: los usuarios describen el resultado que buscan sin mencionar tu herramienta.
• Prompts negativos: la solicitud debería atenderla una herramienta integrada u otra herramienta distinta de la tuya.

Documenta el comportamiento esperado para cada prompt (llamar a tu herramienta, no hacer nada o usar una alternativa). Volverás a usar este conjunto en las pruebas de regresión.

Redacta metadatos que orienten al modelo

Para cada herramienta:

• Nombre: combina el dominio con la acción (calendar.create_event).
• Descripción: empieza con “Usa esta herramienta cuando…” y especifica en qué casos no se debe usar (“No la uses para recordatorios”).
• Documentación de los parámetros: describe cada argumento, incluye ejemplos y usa los valores permitidos para las entradas que tengan restricciones.
• Indicador de solo lectura: agrega la anotación readOnlyHint: true a las herramientas que solo consultan información o realizan cálculos y nunca crean, actualizan ni eliminan datos ni los envían fuera de la conversación.
• Indicador de acciones destructivas: agrega la anotación destructiveHint: false a las herramientas que no eliminan ni sobrescriben datos del usuario.
• Indicador de mundo abierto: agrega la anotación openWorldHint: true cuando una herramienta acceda a la internet pública o a un conjunto abierto de entidades externas. Esto incluye las herramientas de solo lectura, como la búsqueda web. Usa false si el acceso de la herramienta se limita a una cuenta privada o a un espacio de trabajo privado, incluso si el servicio se aloja externamente.

Evalúa tu servidor MCP personalizado

1. Conecta tu servidor MCP personalizado en ChatGPT e instala el complemento resultante.
2. Prueba cada prompt del conjunto de referencia y registra el resultado: qué herramienta seleccionó el modelo, qué argumentos le pasó y si se renderizó el componente.
3. Para cada prompt, registra la precisión (¿se ejecutó la herramienta correcta?) y la sensibilidad (¿se ejecutó la herramienta cuando correspondía?).

Si el modelo elige la herramienta equivocada, revisa las descripciones para destacar el caso de uso previsto o delimitar mejor el alcance de la herramienta.

Ajusta los metadatos de forma sistemática

• Cambia un solo campo de metadatos a la vez para identificar qué cambio produjo cada mejora.
• Lleva un registro de las revisiones con la fecha, la hora y los resultados de las pruebas.
• Comparte las diferencias entre versiones con quienes revisan el texto para detectar ambigüedades antes de publicarlo.

Repite la evaluación después de cada revisión. Procura alcanzar una precisión alta en los prompts negativos antes de buscar pequeñas mejoras en la sensibilidad.

Monitoreo en producción

Una vez que tu servidor MCP esté en producción:

• Revisa cada semana las estadísticas de llamadas a herramientas. Un aumento repentino en las confirmaciones de “herramienta equivocada” suele indicar que los metadatos ya no reflejan bien cuándo usar la herramienta.
• Recopila los comentarios de los usuarios y actualiza las descripciones para aclarar los malentendidos frecuentes.
• Programa pruebas periódicas con los mismos prompts, especialmente después de agregar herramientas o modificar campos estructurados.

Mantén los metadatos al día. Cuanto más cuidado pongas en la redacción y la evaluación, más fácil será para el modelo encontrar tu herramienta y llamarla.