He pasado la mayor parte de mi carrera como ingeniero de software haciendo una de dos cosas: girar una manivela —desplegar y operar software— o crear software que la gire por mí.
Mi primer trabajo en OpenAI fue en el equipo de infraestructura en la nube, donde ponía en marcha nuevos clústeres de Kubernetes para los equipos de aplicaciones. Pasaba una semana preparando un lote de clústeres y resolviendo problemas con los enlaces privados, las cuotas y Terraform. En cuanto esos clústeres estaban listos, empezaba con el siguiente lote.
Después pasé al equipo de la API, donde ejecutaba evaluaciones con nuestros modelos más recientes. Resolvía problemas con los calificadores, las cuotas, la configuración y PyTorch. Una vez que las evaluaciones se ejecutaban correctamente y lanzábamos el modelo, volvía a empezar con el siguiente.
Ahora uso Codex para que me ayude con esas tareas repetitivas. Sigo creando software —o, para ser más preciso, Codex me ayuda a crearlo—, pero en lugar de crear una automatización distinta para cada tarea, estoy desarrollando Runme para:
- Recopilar y organizar el contexto de cada flujo de trabajo.
- Mantener los límites adecuados para la revisión y la aprobación.
- Mejorar las futuras ejecuciones de Codex con lo aprendido en las anteriores.
Ejecutar evaluaciones con Codex
En OpenAI, cuando lanzamos nuevos modelos y funcionalidades, ejecutamos evaluaciones para comprobar que funcionan como esperamos. Para ejecutar una evaluación, creo un cuaderno de Runme y escribo un breve esquema del objetivo:
# Objetivo: ejecutar la evaluación con el modelo actual
- Revisa una ejecución anterior para entender el flujo de trabajo.
- Escribe un plan detallado en este cuaderno.
- Antes de empezar, espera a que revise y apruebe el plan.
- Documenta los comandos que ejecutes, la salida de cada uno y cómo interpretas los resultados.Luego le pido a Codex que tome esa celda del cuaderno como objetivo:
Lee la celda del objetivo en el cuaderno de Runme que está abierto en el navegador.
Toma su contenido como objetivo, escribe tu plan en el cuaderno y espera mi aprobación antes de empezar.Codex lee el cuaderno y lo actualiza a medida que avanza. Cuando el plan está listo, lo reviso y lo ajusto si hace falta. Muchas veces, lo más útil que puedo hacer es ayudar a Codex a elegir entre varias opciones: qué sistema de evaluación usar, si conviene aprovisionar infraestructura nueva o si bastan los recursos existentes.
Mientras Codex trabaja, sigo su progreso, a veces desde mi teléfono, y de vez en cuando le doy una pista si se atasca. Por ejemplo, si no se puede aprovisionar un entorno de desarrollo porque se agotó una cuota, puedo sugerirle que reutilice un entorno existente o que busque otra opción aprobada.
El resultado es un cuaderno que documenta tanto los pasos necesarios para completar la tarea como los caminos que no llevaron a ninguna parte. Antes de terminar, trabajo con Codex para dejar constancia de decisiones que de otro modo se perderían en la conversación: por qué elegimos una opción, qué enfoque preferimos ahora y qué debería hacer de otra manera la próxima persona que realice la tarea.
Colaborar con Codex en los cuadernos
El proyecto Runme es una aplicación web de código abierto para crear cuadernos con Codex. Al igual que Jupyter y Colab, admite Markdown, celdas de código y HTML, lo que permite crear documentos que combinan instrucciones, comandos, resultados, tablas y gráficos.
Los cuadernos se pueden guardar directamente en Google Drive. Así, las personas con las que trabajo pueden encontrar y compartir lo que producimos en un lugar que ya conocen, sin necesidad de incorporar otro repositorio de documentos.
Para cada cuaderno, Runme también genera un archivo de índice en Markdown llamado *.index.md. Google Drive puede indexar ese archivo. Así, a un agente le resulta más fácil encontrar cuadernos anteriores cuando necesita ejemplos, contexto sobre las operaciones o el resultado de una ejecución previa.
Los agentes interactúan con Runme a través de WebMCP. Al cargarse, la aplicación registra en el navegador herramientas que un agente puede usar para:
- Leer las instrucciones para trabajar con Runme y sus cuadernos.
- Ejecutar programas JavaScript de alcance limitado que leen o actualizan el contenido del cuaderno.
- Consultar la documentación de la aplicación.
Esta arquitectura es importante porque Runme es una aplicación que se ejecuta en el cliente y se sirve como un sitio web estático. Agregar un servidor solo para exponer un punto de acceso MCP tradicional requeriría más infraestructura, complicaría las operaciones y cambiaría el lugar donde se manejan los datos de los cuadernos. Con WebMCP, la aplicación puede ofrecer sus funciones directamente desde el navegador.
Recopilar y organizar contexto útil
Cada vez que ejecuto una evaluación, tengo la oportunidad de documentar cómo hicimos el trabajo y facilitar la siguiente ejecución. A medida que mejora el flujo de trabajo, el contexto que genera es más útil. A su vez, ese contexto ayuda a Codex a abordar con mayor eficacia la próxima versión de la tarea.
Gran parte de la información que podría ayudar a un agente ya existe en el trabajo diario, pero está dispersa entre el historial de la terminal, Slack, los manuales de operaciones, los documentos y los paneles. Demostrar que la documentación es útil es fácil. Lo difícil es que documentar el trabajo requiera tan poco esfuerzo que podamos hacerlo sobre la marcha.
Runme reúne en un mismo cuaderno lo que se quería lograr, las acciones, las decisiones y los resultados. Un objetivo persistente mantiene a Codex enfocado en la tarea, mientras que la revisión automática de aprobaciones puede evaluar las acciones que cumplen los requisitos sin modificar los límites de los permisos existentes.
Sigo siendo yo quien decide cuándo está listo un plan y cuándo una decisión importante requiere criterio humano. Codex ejecuta las tareas repetitivas y deja un registro de lo ocurrido más detallado que el que yo habría escrito. Como el cuaderno es fácil de compartir, ese conocimiento práctico puede llegar más allá del historial de chat de una sola persona.
Recuperar algunos latidos
He pasado buena parte de mi carrera buscando las palabras mágicas para que unas máquinas caprichosas hagan lo que quiero. Se suponía que la infraestructura en la nube y Kubernetes facilitarían el despliegue y la operación del software. Pero también acabamos con un ecosistema enorme de herramientas, como bien ilustra el mapa de la CNCF. Resolver un problema suele plantear otro: elegir las herramientas necesarias para resolverlo, aprender a usarlas y operarlas.
Lo que me atrae de Codex es que puede ayudarme con esas tareas operativas repetitivas y, al mismo tiempo, me permite seguir participando en las decisiones que importan.
Ojalá recupere algunos de esos latidos y los pase jugando con mis perros.